來源：IT水哥

在人工智能領(lǐng)域,，能源消耗一直是一個(gè)備受關(guān)注的問題?，F(xiàn)在,，BitEnergy AI公司的研究人員開發(fā)了一種名為線性復(fù)雜度乘法（L-Mul）的技術(shù),，這項(xiàng)技術(shù)有潛力將AI模型的功耗降低95%,，而不會(huì)犧牲模型的質(zhì)量,。

L-Mul技術(shù)通過在AI計(jì)算中用更簡單的整數(shù)加法替換能耗大的浮點(diǎn)乘法來實(shí)現(xiàn)這一目標(biāo),。對于那些不熟悉這個(gè)術(shù)語的人來說,，浮點(diǎn)是一種數(shù)學(xué)和編程術(shù)語,，它允許計(jì)算機(jī)通過調(diào)整小數(shù)點(diǎn)的位置高效地處理非常大和非常小的數(shù)字,。你可以將其視為二進(jìn)制中的科學(xué)記數(shù)法。它們對于AI模型中的許多至關(guān)重要的計(jì)算,，但它們需要大量的能源和計(jì)算能力,。模型越大，所需的算力就越多,。從fp32的全精度模型開始,，開發(fā)者通常會(huì)降低精度到fp16、fp8甚至fp4,，以便他們的模型可以在本地硬件上運(yùn)行,。

AI對電力的龐大需求已經(jīng)成為一個(gè)日益增長的擔(dān)憂。僅ChatGPT每天就消耗564兆瓦時(shí)——足以為18,000個(gè)北美家庭供電,。根據(jù)劍橋替代金融中心分享的估計(jì),，到2027年,，整個(gè)AI行業(yè)的年能源消耗預(yù)計(jì)將達(dá)到850-1340太瓦時(shí)，與比特幣挖礦操作大致相同,。

L-Mul技術(shù)直接解決了AI能源問題,，重新構(gòu)想了AI模型處理計(jì)算的方式。與傳統(tǒng)的浮點(diǎn)乘法不同,，L-Mul使用整數(shù)加法來近似這些操作,。例如，而不是將123.45乘以67.89,，L-Mul將其分解為使用加法的更小,、更簡單的步驟。這使得計(jì)算更快,，使用的能源更少,，同時(shí)仍然保持準(zhǔn)確性。

研究結(jié)果看起來非常有希望,。研究人員聲稱,，“在張量處理硬件中應(yīng)用L-Mul操作可以潛在地通過元素級別的浮點(diǎn)張量乘法減少95%的能源成本，以及點(diǎn)積的80%能源成本,?！焙喍灾绻粋€(gè)模型使用了這項(xiàng)技術(shù),，根據(jù)這項(xiàng)研究,，它將以比原來少95%的能源來“思考”，以及比原來少80%的能源來產(chǎn)生新的想法,。

該算法的影響不僅限于節(jié)能,。在某些情況下，L-Mul的性能甚至超過了當(dāng)前的8位標(biāo)準(zhǔn),，在使用顯著更少的位級計(jì)算的同時(shí)實(shí)現(xiàn)了更高的精度,。在自然語言處理、視覺任務(wù)和符號推理的測試中,，平均性能下降僅為0.07%——對于潛在的能源節(jié)省來說,，這是一個(gè)微不足道的權(quán)衡。

基于Transformer的模型,，如GPT等大型語言模型的支柱,，可能會(huì)從L-Mul中大大受益。該算法可以無縫集成到這些模型的注意力機(jī)制中,，這是計(jì)算密集型的部分,。在流行的模型如Llama、Mistral和Gemma上的測試甚至表現(xiàn)出在某些視覺任務(wù)上的準(zhǔn)確性的提升,。

在操作層面上,，L-Mul的優(yōu)勢變得更加明顯,。研究表明，乘以兩個(gè)float8數(shù)字（AI模型今天的運(yùn)行方式）需要325次操作,，而L-Mul僅使用157次——不到一半,。“總結(jié)誤差和復(fù)雜度分析,，L-Mul不僅比fp8乘法更高效,，而且更準(zhǔn)確?！毖芯咳藛T得出結(jié)論,。

但沒有什么技術(shù)是完美的，這項(xiàng)技術(shù)有一個(gè)主要的弱點(diǎn)：它需要特殊類型的硬件,，因此現(xiàn)行的硬件對其而言還沒有得到充分優(yōu)化,。

支持L-Mul計(jì)算的專用硬件開發(fā)計(jì)劃可能已經(jīng)在進(jìn)行中?！盀榱顺浞旨ぐl(fā)我們提出的方法的潛力,，我們將在硬件層面上實(shí)現(xiàn)L-Mul和L-Matmul內(nèi)核算法，并為高級模型設(shè)計(jì)開發(fā)編程API,。”研究人員表示道,。這可能誘發(fā)新一代的AI模型誕生,，它們快速、準(zhǔn)確且成本極低——使能源高效的AI成為現(xiàn)實(shí),。