近期，36氪于北京盛大召開(kāi)“WISE2024 商業(yè)之王”大會(huì),，吸引各行各業(yè)精英齊聚,，共探艱難卻正確之事。北京電子數(shù)智科技有限責(zé)任公司（以下簡(jiǎn)稱“北電數(shù)智”）應(yīng)邀出席,，其CMO兼戰(zhàn)略與市場(chǎng)負(fù)責(zé)人楊震發(fā)表《“國(guó)產(chǎn)算力 PoC 平臺(tái)”,，以場(chǎng)景測(cè)評(píng)尋找算力最優(yōu)解》主題演講，在大會(huì)上分享了北電數(shù)智對(duì)于國(guó)產(chǎn)算力應(yīng)用的深刻見(jiàn)解與前沿探索成果,，為行業(yè)發(fā)展提供了極具價(jià)值的思路與方向,。

OpenAI o1發(fā)布后，強(qiáng)化學(xué)習(xí)提升大模型智力的推理模型路線獲得了業(yè)內(nèi)認(rèn)可,，不少公司紛紛發(fā)布推理模型,。而推理模型雖信奉以長(zhǎng)思考時(shí)間提高智能水平，但實(shí)際應(yīng)用中用戶仍看重響應(yīng)速度快,、推理成本低,、吞吐能力長(zhǎng)這些指標(biāo)。且推理模型注重垂直場(chǎng)景落地,，存在產(chǎn)業(yè)鏈斷層,，模型方與算力供給需按場(chǎng)景系統(tǒng)化適配痛點(diǎn)。北電數(shù)智首個(gè)國(guó)產(chǎn)算力PoC平臺(tái)可助力推理模型落地,，提供低成本算力,，幫大模型適配國(guó)產(chǎn)芯片提升推理效果、加速推理速度,。

國(guó)產(chǎn)算力PoC平臺(tái)構(gòu)建于北電數(shù)智先進(jìn)計(jì)算迭代驗(yàn)證平臺(tái)（即前進(jìn)?AI 異構(gòu)計(jì)算平臺(tái)）之上,，坐落于由北電數(shù)智統(tǒng)籌規(guī)劃建設(shè)、設(shè)計(jì)運(yùn)營(yíng)的北京數(shù)字經(jīng)濟(jì)算力中心,。國(guó)產(chǎn)算力PoC平臺(tái)可針對(duì)不同廠家的算力芯片,，實(shí)施算力納管與統(tǒng)一調(diào)度，依據(jù)各類模型任務(wù)的特性差異,，精準(zhǔn)調(diào)配適宜的算力資源,。同時(shí)，借助構(gòu)建豐富的算子庫(kù),、打造通信庫(kù)等手段,，有力推動(dòng)模型訓(xùn)練加速進(jìn)程，為大模型供給兼具高性價(jià)比與高品質(zhì)的算力支持,，使其以更低成本,、更高效率開(kāi)展運(yùn)算，助力大模型落地,。

當(dāng)模型與行業(yè),、場(chǎng)景深入結(jié)合，定制化的重要性日益凸顯,。北電數(shù)智推出的國(guó)產(chǎn)算力PoC平臺(tái)能夠?yàn)橛脩粼诖怪眻?chǎng)景下提供算力集群的評(píng)測(cè),、適配以及驗(yàn)證服務(wù)，協(xié)助算力需求方探尋出最為適宜的“軟件+硬件”組合方案,，以此提升模型訓(xùn)推算力的效率,，削減訓(xùn)推所需時(shí)間與成本，為用戶締造更優(yōu)質(zhì)的使用體驗(yàn)。

國(guó)產(chǎn)算力PoC平臺(tái)大幅提升國(guó)產(chǎn)芯片利用率和集群利用率,。借助調(diào)度,、算法以及算子等多層面優(yōu)化，國(guó)產(chǎn)算力PoC平臺(tái)可大幅改善國(guó)產(chǎn)集群的訓(xùn)推效能,，混訓(xùn)集群的訓(xùn)練成果能夠達(dá)到單一集群綜合訓(xùn)練效果的1.2倍,，在進(jìn)行混推操作時(shí)使平均MFU（模型對(duì)算力的利用率）從30%躍升至60%。

經(jīng)過(guò)國(guó)產(chǎn)算力PoC平臺(tái)多層優(yōu)化后,，反映在模型生成速度上表現(xiàn)為基于國(guó)產(chǎn)芯片的模型首字延遲最多可優(yōu)化10倍，解碼延遲可達(dá)10倍優(yōu)化,，能更迅速地完成數(shù)據(jù)解析工作,，推理吞吐量最高可實(shí)現(xiàn)80倍的提升。意味著在單位時(shí)間內(nèi)能夠處理更多的數(shù)據(jù),，進(jìn)而更快速地響應(yīng)模型推理需求,，有效提升用戶體驗(yàn)并提高數(shù)據(jù)處理效率。

為進(jìn)一步提升運(yùn)行效率并節(jié)約資源,，北電數(shù)智在集群中運(yùn)用了一系列推理優(yōu)化策略。例如,，憑借scoping to zero特性能夠有效縮短冷啟動(dòng)時(shí)長(zhǎng),；在集群推理環(huán)節(jié)，支持Continuous batch,、Page attention,、CPU / GPU 異步等推理策略，提高GPU利用率,。

當(dāng)前,，北電數(shù)智的國(guó)產(chǎn)算力PoC平臺(tái)已經(jīng)實(shí)現(xiàn)了對(duì)十多種國(guó)內(nèi)知名算力芯片的評(píng)測(cè)支持以及與二十多款主流模型的適配。北電數(shù)智的國(guó)產(chǎn)算力PoC平臺(tái)在當(dāng)下AI發(fā)展進(jìn)程中已彰顯出關(guān)鍵價(jià)值與強(qiáng)大競(jìng)爭(zhēng)力,。其憑借精準(zhǔn)的算力納管與調(diào)度,、卓越的模型適配能力以及全方位的優(yōu)化舉措，有效解決了推理模型在落地應(yīng)用時(shí)面臨的諸多難題,，極大地提升了國(guó)產(chǎn)芯片利用率與集群效能,，降低了模型訓(xùn)推成本并顯著提高了運(yùn)行效率。

身為肩負(fù)“建設(shè)數(shù)字中國(guó)”使命的AI原生國(guó)企,，北電數(shù)智始終堅(jiān)持做難而正確的事,，致力于強(qiáng)化行業(yè)間的生態(tài)聯(lián)動(dòng)，打通模型,、場(chǎng)景與芯片在商業(yè)運(yùn)營(yíng)及研發(fā)創(chuàng)新層面的閉環(huán)鏈路,。在人工智能產(chǎn)業(yè)蓬勃發(fā)展的浪潮中,，北電數(shù)智積極布局,，通過(guò)持續(xù)優(yōu)化國(guó)產(chǎn)算力PoC平臺(tái)整合行業(yè)資源，不僅為產(chǎn)業(yè)鏈上下游企業(yè)提供了高效的合作橋梁,，也致力于提升我國(guó)人工智能產(chǎn)業(yè)自主化創(chuàng)新能力,，為國(guó)家科技戰(zhàn)略推進(jìn)做出創(chuàng)新示范。