來源：IT水哥

在人工智能領(lǐng)域，能源消耗一直是一個(gè)備受關(guān)注的問題?，F(xiàn)在,，BitEnergy AI公司的研究人員開發(fā)了一種名為線性復(fù)雜度乘法（L-Mul）的技術(shù),，這項(xiàng)技術(shù)有潛力將AI模型的功耗降低95%，而不會(huì)犧牲模型的質(zhì)量,。

L-Mul技術(shù)通過在AI計(jì)算中用更簡(jiǎn)單的整數(shù)加法替換能耗大的浮點(diǎn)乘法來實(shí)現(xiàn)這一目標(biāo),。對(duì)于那些不熟悉這個(gè)術(shù)語的人來說,，浮點(diǎn)是一種數(shù)學(xué)和編程術(shù)語,，它允許計(jì)算機(jī)通過調(diào)整小數(shù)點(diǎn)的位置高效地處理非常大和非常小的數(shù)字。你可以將其視為二進(jìn)制中的科學(xué)記數(shù)法,。它們對(duì)于AI模型中的許多至關(guān)重要的計(jì)算,，但它們需要大量的能源和計(jì)算能力。模型越大,，所需的算力就越多,。從fp32的全精度模型開始，開發(fā)者通常會(huì)降低精度到fp16,、fp8甚至fp4,，以便他們的模型可以在本地硬件上運(yùn)行。

AI對(duì)電力的龐大需求已經(jīng)成為一個(gè)日益增長(zhǎng)的擔(dān)憂,。僅ChatGPT每天就消耗564兆瓦時(shí)——足以為18,000個(gè)北美家庭供電,。根據(jù)劍橋替代金融中心分享的估計(jì)，到2027年,，整個(gè)AI行業(yè)的年能源消耗預(yù)計(jì)將達(dá)到850-1340太瓦時(shí),，與比特幣挖礦操作大致相同。

L-Mul技術(shù)直接解決了AI能源問題,，重新構(gòu)想了AI模型處理計(jì)算的方式,。與傳統(tǒng)的浮點(diǎn)乘法不同，L-Mul使用整數(shù)加法來近似這些操作,。例如,，而不是將123.45乘以67.89，L-Mul將其分解為使用加法的更小,、更簡(jiǎn)單的步驟,。這使得計(jì)算更快，使用的能源更少,，同時(shí)仍然保持準(zhǔn)確性,。

研究結(jié)果看起來非常有希望。研究人員聲稱,，“在張量處理硬件中應(yīng)用L-Mul操作可以潛在地通過元素級(jí)別的浮點(diǎn)張量乘法減少95%的能源成本,，以及點(diǎn)積的80%能源成本?！焙?jiǎn)而言之,，如果一個(gè)模型使用了這項(xiàng)技術(shù),，根據(jù)這項(xiàng)研究，它將以比原來少95%的能源來“思考”,，以及比原來少80%的能源來產(chǎn)生新的想法,。

該算法的影響不僅限于節(jié)能。在某些情況下,，L-Mul的性能甚至超過了當(dāng)前的8位標(biāo)準(zhǔn),，在使用顯著更少的位級(jí)計(jì)算的同時(shí)實(shí)現(xiàn)了更高的精度。在自然語言處理,、視覺任務(wù)和符號(hào)推理的測(cè)試中,，平均性能下降僅為0.07%——對(duì)于潛在的能源節(jié)省來說，這是一個(gè)微不足道的權(quán)衡,。

基于Transformer的模型,，如GPT等大型語言模型的支柱，可能會(huì)從L-Mul中大大受益,。該算法可以無縫集成到這些模型的注意力機(jī)制中,，這是計(jì)算密集型的部分。在流行的模型如Llama,、Mistral和Gemma上的測(cè)試甚至表現(xiàn)出在某些視覺任務(wù)上的準(zhǔn)確性的提升,。

在操作層面上，L-Mul的優(yōu)勢(shì)變得更加明顯,。研究表明,，乘以兩個(gè)float8數(shù)字（AI模型今天的運(yùn)行方式）需要325次操作，而L-Mul僅使用157次——不到一半,?！翱偨Y(jié)誤差和復(fù)雜度分析，L-Mul不僅比fp8乘法更高效,，而且更準(zhǔn)確,。”研究人員得出結(jié)論,。

但沒有什么技術(shù)是完美的,，這項(xiàng)技術(shù)有一個(gè)主要的弱點(diǎn)：它需要特殊類型的硬件，因此現(xiàn)行的硬件對(duì)其而言還沒有得到充分優(yōu)化,。

支持L-Mul計(jì)算的專用硬件開發(fā)計(jì)劃可能已經(jīng)在進(jìn)行中,。“為了充分激發(fā)我們提出的方法的潛力,，我們將在硬件層面上實(shí)現(xiàn)L-Mul和L-Matmul內(nèi)核算法,，并為高級(jí)模型設(shè)計(jì)開發(fā)編程API。”研究人員表示道,。這可能誘發(fā)新一代的AI模型誕生,，它們快速、準(zhǔn)確且成本極低——使能源高效的AI成為現(xiàn)實(shí),。