來(lái)源：IT水哥

在人工智能領(lǐng)域,，能源消耗一直是一個(gè)備受關(guān)注的問(wèn)題?，F(xiàn)在，BitEnergy AI公司的研究人員開(kāi)發(fā)了一種名為線性復(fù)雜度乘法（L-Mul）的技術(shù),，這項(xiàng)技術(shù)有潛力將AI模型的功耗降低95%,，而不會(huì)犧牲模型的質(zhì)量,。

L-Mul技術(shù)通過(guò)在AI計(jì)算中用更簡(jiǎn)單的整數(shù)加法替換能耗大的浮點(diǎn)乘法來(lái)實(shí)現(xiàn)這一目標(biāo),。對(duì)于那些不熟悉這個(gè)術(shù)語(yǔ)的人來(lái)說(shuō),，浮點(diǎn)是一種數(shù)學(xué)和編程術(shù)語(yǔ),，它允許計(jì)算機(jī)通過(guò)調(diào)整小數(shù)點(diǎn)的位置高效地處理非常大和非常小的數(shù)字。你可以將其視為二進(jìn)制中的科學(xué)記數(shù)法,。它們對(duì)于AI模型中的許多至關(guān)重要的計(jì)算,，但它們需要大量的能源和計(jì)算能力,。模型越大，所需的算力就越多,。從fp32的全精度模型開(kāi)始,，開(kāi)發(fā)者通常會(huì)降低精度到fp16、fp8甚至fp4,，以便他們的模型可以在本地硬件上運(yùn)行,。

AI對(duì)電力的龐大需求已經(jīng)成為一個(gè)日益增長(zhǎng)的擔(dān)憂。僅ChatGPT每天就消耗564兆瓦時(shí)——足以為18,000個(gè)北美家庭供電,。根據(jù)劍橋替代金融中心分享的估計(jì),，到2027年，整個(gè)AI行業(yè)的年能源消耗預(yù)計(jì)將達(dá)到850-1340太瓦時(shí),，與比特幣挖礦操作大致相同,。

L-Mul技術(shù)直接解決了AI能源問(wèn)題，重新構(gòu)想了AI模型處理計(jì)算的方式,。與傳統(tǒng)的浮點(diǎn)乘法不同,，L-Mul使用整數(shù)加法來(lái)近似這些操作。例如,，而不是將123.45乘以67.89,，L-Mul將其分解為使用加法的更小、更簡(jiǎn)單的步驟,。這使得計(jì)算更快,，使用的能源更少，同時(shí)仍然保持準(zhǔn)確性,。

研究結(jié)果看起來(lái)非常有希望,。研究人員聲稱，“在張量處理硬件中應(yīng)用L-Mul操作可以潛在地通過(guò)元素級(jí)別的浮點(diǎn)張量乘法減少95%的能源成本,，以及點(diǎn)積的80%能源成本,。”簡(jiǎn)而言之,，如果一個(gè)模型使用了這項(xiàng)技術(shù),，根據(jù)這項(xiàng)研究，它將以比原來(lái)少95%的能源來(lái)“思考”,，以及比原來(lái)少80%的能源來(lái)產(chǎn)生新的想法,。

該算法的影響不僅限于節(jié)能。在某些情況下,，L-Mul的性能甚至超過(guò)了當(dāng)前的8位標(biāo)準(zhǔn),，在使用顯著更少的位級(jí)計(jì)算的同時(shí)實(shí)現(xiàn)了更高的精度。在自然語(yǔ)言處理,、視覺(jué)任務(wù)和符號(hào)推理的測(cè)試中,，平均性能下降僅為0.07%——對(duì)于潛在的能源節(jié)省來(lái)說(shuō),，這是一個(gè)微不足道的權(quán)衡。

基于Transformer的模型,，如GPT等大型語(yǔ)言模型的支柱,，可能會(huì)從L-Mul中大大受益。該算法可以無(wú)縫集成到這些模型的注意力機(jī)制中,，這是計(jì)算密集型的部分,。在流行的模型如Llama、Mistral和Gemma上的測(cè)試甚至表現(xiàn)出在某些視覺(jué)任務(wù)上的準(zhǔn)確性的提升,。

在操作層面上,，L-Mul的優(yōu)勢(shì)變得更加明顯。研究表明,，乘以兩個(gè)float8數(shù)字（AI模型今天的運(yùn)行方式）需要325次操作,，而L-Mul僅使用157次——不到一半?！翱偨Y(jié)誤差和復(fù)雜度分析,，L-Mul不僅比f(wàn)p8乘法更高效，而且更準(zhǔn)確,。”研究人員得出結(jié)論,。

但沒(méi)有什么技術(shù)是完美的,，這項(xiàng)技術(shù)有一個(gè)主要的弱點(diǎn)：它需要特殊類(lèi)型的硬件，因此現(xiàn)行的硬件對(duì)其而言還沒(méi)有得到充分優(yōu)化,。

支持L-Mul計(jì)算的專(zhuān)用硬件開(kāi)發(fā)計(jì)劃可能已經(jīng)在進(jìn)行中,。“為了充分激發(fā)我們提出的方法的潛力,，我們將在硬件層面上實(shí)現(xiàn)L-Mul和L-Matmul內(nèi)核算法,，并為高級(jí)模型設(shè)計(jì)開(kāi)發(fā)編程API?！毖芯咳藛T表示道,。這可能誘發(fā)新一代的AI模型誕生，它們快速,、準(zhǔn)確且成本極低——使能源高效的AI成為現(xiàn)實(shí),。