央廣網(wǎng)北京7月6日消息（記者呂紅橋）據(jù)中央廣播電視總臺(tái)經(jīng)濟(jì)之聲《天下財(cái)經(jīng)》報(bào)道,，2024世界人工智能大會(huì)6日繼續(xù)舉行,。一場(chǎng)分論壇重點(diǎn)關(guān)注的是如何降低算力成本。對(duì)大模型來(lái)說(shuō),，算力越大越好,，業(yè)內(nèi)形象地說(shuō)是“大力出奇跡”，然而,，大算力意味著巨大的成本,。如何在滿足算力需求的情況下，降低算力成本,？業(yè)內(nèi)人士和專家提出了解決方案,。訓(xùn)練大模型，有“大力出奇跡”的說(shuō)法,，也就是說(shuō),，算力越大，大模型可能越完善,。正因如此,，有測(cè)算顯示，大模型訓(xùn)練成本70%用于算力,，推理成本95%用于算力,。在當(dāng)前“百模大戰(zhàn)”的背景下，要讓大模型訓(xùn)練可持續(xù),，就必須降低算力成本,。對(duì)于降成本的路徑，燧原科技創(chuàng)始人兼首席運(yùn)營(yíng)官?gòu)垇喠衷谡搲媳硎荆梢园汛竽Ｐ偷耐评矸诺竭叾?，通過(guò)分布式推理降低算力成本,。張亞林介紹：“中國(guó)不缺應(yīng)用場(chǎng)景、大量的端側(cè)和邊側(cè)設(shè)備,，未來(lái)端側(cè)和邊側(cè)設(shè)備一定具有很高算力,，大家看到AI PC、AI Phone已經(jīng)起來(lái),。如何做分布式推理,？舉個(gè)例子，目前主要的手機(jī)應(yīng)用都是在云端做推理,。如果手機(jī)端算力能夠把簡(jiǎn)單任務(wù)做了,，所有省下來(lái)的成本都?xì)w手機(jī)應(yīng)用公司。如果能干掉50%的推理,，就能省50%的成本,。所以，中國(guó)未來(lái)一定是從邊側(cè)到端側(cè),，再到云側(cè)的分布式推理?！睂?duì)于降低算力成本,，中國(guó)工程院院士、清華大學(xué)教授鄭緯民之前表示,，我國(guó)現(xiàn)在有多個(gè)國(guó)家掛牌的算力系統(tǒng),，有的系統(tǒng)還有空余算力，這些算力也可以用來(lái)訓(xùn)練大模型,，并且成本很低,。在這場(chǎng)論壇上，鄭緯民進(jìn)一步表示,，從實(shí)際嘗試來(lái)看,，用原有算力系統(tǒng)富余的算力訓(xùn)練大模型，成本只有原來(lái)的六分之一,。鄭緯民說(shuō)：“我們?cè)嚵艘幌?，把我們的一套東西加到里面。比如‘八卦爐’是10個(gè)軟件,，把這10個(gè)軟件加到機(jī)器上,。目前‘八卦爐’已經(jīng)在國(guó)產(chǎn)算力系統(tǒng)中成功移植百川、LLaMA等大模型,，最后結(jié)果很不錯(cuò),。”降低算力成本的另一個(gè)思路是提高算力的使用效率。單個(gè)大模型訓(xùn)練所用的算力規(guī)模非常大,，一萬(wàn)張算力卡組成的“萬(wàn)卡集群”已經(jīng)成為大模型預(yù)訓(xùn)練的最低配置,。然而在實(shí)踐中，“萬(wàn)卡集群”的使用效率經(jīng)常在50%以下,，也就是說(shuō),，一半以上的算力都不能發(fā)揮出來(lái)。曦智科技首席技術(shù)官孟懷宇分析,，這主要是因?yàn)樗懔ㄖg的互聯(lián),，也就是“南向”互聯(lián)效率太低導(dǎo)致的。他表示,，增加“南向”互聯(lián)超節(jié)點(diǎn)的規(guī)模,，可以大幅提升算力使用效率。孟懷宇說(shuō)：“當(dāng)我們從萬(wàn)卡集群的角度來(lái)看的時(shí)候,，實(shí)際上是‘南向’的超節(jié)點(diǎn)規(guī)模在一定范圍之內(nèi)越大,，GPU的利用率就越高，得到的算力會(huì)越高,。這樣,，整個(gè)集群在卡數(shù)不增加的情況下，會(huì)得到更高的性能,，也就意味著性價(jià)比更高,。根據(jù)結(jié)果顯示，在GPU卡數(shù)不增加的情況下,，32卡的南向節(jié)點(diǎn)相對(duì)于8卡來(lái)說(shuō),，可以獲得88%的性能提升?！睌?shù)據(jù)中心與算力降成本密切相關(guān),，當(dāng)前，不少數(shù)據(jù)中心并沒(méi)有形成暢通的盈利模式,。張亞林認(rèn)為,，數(shù)據(jù)中心應(yīng)該改變以往的建設(shè)、運(yùn)營(yíng)和應(yīng)用模式,。張亞林表示：“以前的模式是先建設(shè),，再找運(yùn)營(yíng)，找了運(yùn)營(yíng)再找應(yīng)用?，F(xiàn)在應(yīng)該是反過(guò)來(lái),，有人來(lái)使用才算得過(guò)來(lái)賬，才能去找運(yùn)營(yíng),。有了運(yùn)營(yíng),，才能夠說(shuō)誰(shuí)來(lái)建設(shè),。這才是中國(guó)AIDC（智算中心）商業(yè)模式最關(guān)鍵的健康生態(tài)。其實(shí)整個(gè)商業(yè)模式非常簡(jiǎn)單,，算力卡月租多少錢,？能不能按照月租費(fèi)用把整個(gè)投入收回來(lái)？這其實(shí)是中國(guó)在算力上需要解決的問(wèn)題,?！备嗑寿Y訊請(qǐng)?jiān)趹?yīng)用市場(chǎng)下載“央廣網(wǎng)”客戶端。歡迎提供新聞線索,，24小時(shí)報(bào)料熱線400-800-0088,；消費(fèi)者也可通過(guò)央廣網(wǎng)“啄木鳥(niǎo)消費(fèi)者投訴平臺(tái)”線上投訴。版權(quán)聲明：本文章版權(quán)歸屬央廣網(wǎng)所有,，未經(jīng)授權(quán)不得轉(zhuǎn)載,。轉(zhuǎn)載請(qǐng)聯(lián)系：[email protected]，不尊重原創(chuàng)的行為我們將追究責(zé)任,。