大模型掀起了新一輪算力狂飆算力已成為AI發(fā)展的瓶頸單顆AI芯片無法繼續(xù)為大模型提供充足的計算和存儲資源盡管目前大模型參數(shù)達到了1萬億規(guī)模但距離人腦約1000萬億個參數(shù)的規(guī)模相比仍然存在較大差距,！在“國傳路演”活動中，超動力（北京）科技有限公司CTO李斌介紹了超動力算網(wǎng)一體架構(gòu)的AI小超算服務(wù)器,。超動力小超算是全新一代的AI服務(wù)器,，采用顛覆性的算網(wǎng)一體超算架構(gòu)，專為大模型推理而設(shè)計,。一臺耗電不到300瓦的服務(wù)器即可輕松運行與ChatGPT規(guī)模相當(dāng)?shù)拇竽Ｐ?，充分釋?span id="a6otyhj" class="wpcom_tag_link">人工智能的無限潛能。此項目通過創(chuàng)新的體系結(jié)構(gòu)和底層技術(shù),，實現(xiàn)了AI計算設(shè)備的運行能耗和建造成本的顯著降低,。核心思想是將超級計算的體系結(jié)構(gòu)和無損以太網(wǎng)通信技術(shù)引入AI服務(wù)器內(nèi)部，通過無損以太網(wǎng)構(gòu)建并行計算集群,，實現(xiàn)高效的集合通信,。這樣的創(chuàng)新突破了傳統(tǒng)服務(wù)器馮諾依曼架構(gòu)面臨的功耗墻問題，實現(xiàn)了從以計算為中心的傳統(tǒng)架構(gòu)向以數(shù)據(jù)為中心的下一代架構(gòu)的跨越,。非常適合AI大模型的高度并行和數(shù)據(jù)密集型計算需求,，有望從根本上解決AI大算力的困局。此項目通過算網(wǎng)一體控制器,，將各種類型的AI模型自動分拆到集群中的多個計算節(jié)點上并行執(zhí)行,，使得計算+通信的總和時間最小化，從而成倍地降低AI模型的推理時延,。通過嵌入式AI技術(shù),，包括模型剪裁、壓縮,、算子融合和內(nèi)存優(yōu)化等,，單個計算節(jié)點的效能提升了10倍以上，從而大幅度降低設(shè)備的成本和能耗,。采用高性能以太網(wǎng)取代傳統(tǒng)AI服務(wù)器中的PCIe通信,，項目顯著擴展了計算節(jié)點間的通信帶寬,，計算節(jié)點之間可以直接通過共享內(nèi)存和RoCE協(xié)議進行通信,，減少了因數(shù)據(jù)多次緩存導(dǎo)致的傳送時延，提高了并行計算的加速比,，同時有效降低了設(shè)備的成本和能耗,。通過以上一系列創(chuàng)新，為AI上層應(yīng)用,，特別是大模型的普及奠定堅實的基礎(chǔ),。
來源：光明網(wǎng)
免責(zé)聲明：本文來自網(wǎng)絡(luò)收錄或投稿,，觀點僅代表作者本人,，不代表芒果財經(jīng)贊同其觀點或證實其描述,，版權(quán)歸原作者所有。轉(zhuǎn)載請注明出處：http://lequren.com/1081031.html
溫馨提示：投資有風(fēng)險,，入市須謹(jǐn)慎,。本資訊不作為投資理財建議。
