央廣網(wǎng)北京7月6日消息（記者呂紅橋）據(jù)中央廣播電視總臺(tái)經(jīng)濟(jì)之聲《天下財(cái)經(jīng)》報(bào)道,，2024世界人工智能大會(huì)6日繼續(xù)舉行,。一場(chǎng)分論壇重點(diǎn)關(guān)注的是如何降低算力成本,。對(duì)大模型來說,，算力越大越好,，業(yè)內(nèi)形象地說是“大力出奇跡”,，然而,，大算力意味著巨大的成本,。如何在滿足算力需求的情況下,，降低算力成本,？業(yè)內(nèi)人士和專家提出了解決方案。訓(xùn)練大模型,，有“大力出奇跡”的說法,，也就是說，算力越大,，大模型可能越完善,。正因如此，有測(cè)算顯示,，大模型訓(xùn)練成本70%用于算力,，推理成本95%用于算力。在當(dāng)前“百模大戰(zhàn)”的背景下,，要讓大模型訓(xùn)練可持續(xù),，就必須降低算力成本。對(duì)于降成本的路徑,，燧原科技創(chuàng)始人兼首席運(yùn)營(yíng)官張亞林在論壇上表示,，可以把大模型的推理放到邊端，通過分布式推理降低算力成本,。張亞林介紹：“中國不缺應(yīng)用場(chǎng)景,、大量的端側(cè)和邊側(cè)設(shè)備，未來端側(cè)和邊側(cè)設(shè)備一定具有很高算力,，大家看到AI PC,、AI Phone已經(jīng)起來。如何做分布式推理,？舉個(gè)例子,，目前主要的手機(jī)應(yīng)用都是在云端做推理。如果手機(jī)端算力能夠把簡(jiǎn)單任務(wù)做了,，所有省下來的成本都?xì)w手機(jī)應(yīng)用公司,。如果能干掉50%的推理，就能省50%的成本。所以,，中國未來一定是從邊側(cè)到端側(cè),，再到云側(cè)的分布式推理?！睂?duì)于降低算力成本,，中國工程院院士、清華大學(xué)教授鄭緯民之前表示,，我國現(xiàn)在有多個(gè)國家掛牌的算力系統(tǒng),，有的系統(tǒng)還有空余算力，這些算力也可以用來訓(xùn)練大模型,，并且成本很低,。在這場(chǎng)論壇上，鄭緯民進(jìn)一步表示,，從實(shí)際嘗試來看,，用原有算力系統(tǒng)富余的算力訓(xùn)練大模型，成本只有原來的六分之一,。鄭緯民說：“我們?cè)嚵艘幌?，把我們的一套東西加到里面。比如‘八卦爐’是10個(gè)軟件,，把這10個(gè)軟件加到機(jī)器上,。目前‘八卦爐’已經(jīng)在國產(chǎn)算力系統(tǒng)中成功移植百川,、LLaMA等大模型,，最后結(jié)果很不錯(cuò)?！苯档退懔Τ杀镜牧硪粋€(gè)思路是提高算力的使用效率,。單個(gè)大模型訓(xùn)練所用的算力規(guī)模非常大，一萬張算力卡組成的“萬卡集群”已經(jīng)成為大模型預(yù)訓(xùn)練的最低配置,。然而在實(shí)踐中,，“萬卡集群”的使用效率經(jīng)常在50%以下，也就是說,，一半以上的算力都不能發(fā)揮出來,。曦智科技首席技術(shù)官孟懷宇分析，這主要是因?yàn)樗懔ㄖg的互聯(lián),，也就是“南向”互聯(lián)效率太低導(dǎo)致的,。他表示，增加“南向”互聯(lián)超節(jié)點(diǎn)的規(guī)模,，可以大幅提升算力使用效率,。孟懷宇說：“當(dāng)我們從萬卡集群的角度來看的時(shí)候，實(shí)際上是‘南向’的超節(jié)點(diǎn)規(guī)模在一定范圍之內(nèi)越大，GPU的利用率就越高,，得到的算力會(huì)越高,。這樣，整個(gè)集群在卡數(shù)不增加的情況下,，會(huì)得到更高的性能,，也就意味著性價(jià)比更高。根據(jù)結(jié)果顯示,，在GPU卡數(shù)不增加的情況下,，32卡的南向節(jié)點(diǎn)相對(duì)于8卡來說，可以獲得88%的性能提升,?！睌?shù)據(jù)中心與算力降成本密切相關(guān)，當(dāng)前,，不少數(shù)據(jù)中心并沒有形成暢通的盈利模式,。張亞林認(rèn)為，數(shù)據(jù)中心應(yīng)該改變以往的建設(shè),、運(yùn)營(yíng)和應(yīng)用模式,。張亞林表示：“以前的模式是先建設(shè)，再找運(yùn)營(yíng),，找了運(yùn)營(yíng)再找應(yīng)用?，F(xiàn)在應(yīng)該是反過來，有人來使用才算得過來賬,，才能去找運(yùn)營(yíng),。有了運(yùn)營(yíng)，才能夠說誰來建設(shè),。這才是中國AIDC（智算中心）商業(yè)模式最關(guān)鍵的健康生態(tài),。其實(shí)整個(gè)商業(yè)模式非常簡(jiǎn)單，算力卡月租多少錢,？能不能按照月租費(fèi)用把整個(gè)投入收回來,？這其實(shí)是中國在算力上需要解決的問題?！备嗑寿Y訊請(qǐng)?jiān)趹?yīng)用市場(chǎng)下載“央廣網(wǎng)”客戶端,。歡迎提供新聞線索，24小時(shí)報(bào)料熱線400-800-0088,；消費(fèi)者也可通過央廣網(wǎng)“啄木鳥消費(fèi)者投訴平臺(tái)”線上投訴,。版權(quán)聲明：本文章版權(quán)歸屬央廣網(wǎng)所有，未經(jīng)授權(quán)不得轉(zhuǎn)載,。轉(zhuǎn)載請(qǐng)聯(lián)系：[email protected],，不尊重原創(chuàng)的行為我們將追究責(zé)任,。