作者｜黃楠

編輯｜袁斯來

探尋大模型的起源,，始于2017年那篇谷歌的《Attention Is All You Need》論文,。其造性地提出了具備處理局部和長程依賴關(guān)系能力,、契合GPU對大規(guī)模數(shù)據(jù)進(jìn)行并發(fā)處理的Transformer架構(gòu)（以下簡稱：T架構(gòu)）,，一舉推動了GPT的問世,。

但其盛名之下,，不少人也忽略了T架構(gòu)的兩大缺陷：其一,，運(yùn)算機(jī)制過度依賴“矩陣乘法”,，算力消耗過大；二是單次運(yùn)算需調(diào)用所有計算單元,，算力與存儲消耗過大,。

這意味著，無論是訓(xùn)練或推理,，面對大量數(shù)據(jù)集與長輸入序列時,，T架構(gòu)需無數(shù)次重復(fù)檢索大模型權(quán)重（記憶體）中已有信息，將新數(shù)據(jù)與既有數(shù)據(jù)的相對距離進(jìn)行逐一比對,。這種“逐字逐句翻書本,，從封面翻到封底”的處理機(jī)制，既賦予了其“精準(zhǔn)捕獲長距離依賴”的能力,，也帶來了巨額的算力與存儲開銷,。

在T架構(gòu)性能表現(xiàn)日趨老化的背景下,，一些AI大模型公司開始探索非T架構(gòu)研發(fā)，并在技術(shù),、產(chǎn)業(yè),、應(yīng)用與合規(guī)層面實現(xiàn)突破。硬氪近日接觸到的「陸兮科技」,，正是一家專注從零開始搭建自研類腦架構(gòu)的大模型公司,。

「陸兮科技」CTO周芃告訴硬氪，類腦大模型采用了模仿人腦結(jié)構(gòu)和功能的“類腦算法”路線,，又稱“腦啟發(fā)算法”路線,。與Transformer架構(gòu)和泛GPT類模型相比，人腦的運(yùn)算與存儲機(jī)制效能明顯更高,。

運(yùn)算時,，人腦采用“稀疏計算”機(jī)制，僅需調(diào)取與當(dāng)次計算直接相關(guān)的神經(jīng)元,，其余閑置神經(jīng)元均處于休眠狀態(tài),。在存儲時，人腦無需重復(fù)“翻書”,，對比新舊數(shù)據(jù)時只需調(diào)用高保真壓縮后的記憶體,，信息本身則處于“隱狀態(tài)”中。

“直觀來說,，T架構(gòu)驅(qū)動的大模型要實現(xiàn)大規(guī)模部署,，所消耗的算力預(yù)計需占滿幾百甚至上千平米的機(jī)房，所消耗的電力需由多做水電站共同驅(qū)動,。對比之下,，人腦完成同樣難度的計算，靠我們每天吃進(jìn)去的米飯,、饅頭,、蔬菜、肉類即可驅(qū)動,?！敝芷M解釋到。

基于這一思考下,，「陸兮科技」提出了“NEURARK類腦架構(gòu)”,，通過復(fù)刻人類大腦高保真、輕量化,、低功耗,、零延遲的運(yùn)算與存儲機(jī)制，通過簡化底層運(yùn)算機(jī)制，運(yùn)用“點(diǎn)乘 + 加法”等低能耗運(yùn)算,，來替代“矩陣乘法”的高能耗預(yù)算模式,。

同時，「陸兮科技」還搭建了與人腦存儲模式近似的“隱狀態(tài)管理”機(jī)制,，可以在大模型推理過程中,，僅需調(diào)用記憶體，而無需調(diào)用既有數(shù)據(jù)集的方法,，將數(shù)據(jù)存儲占用降至極低,。

目前，「陸兮科技」“NEURARK類腦架構(gòu)”已同信息產(chǎn)業(yè)頭部國央企達(dá)成合作簽約,，在通用醫(yī)療大模型,、糖尿+甲乳專病大模型等領(lǐng)域開展共同研發(fā)與產(chǎn)品推廣。其中,，類腦醫(yī)療大模型已于國內(nèi)某中部省份多家三甲醫(yī)院,、醫(yī)聯(lián)體網(wǎng)絡(luò)醫(yī)院與重點(diǎn)科室實現(xiàn)預(yù)部署,。

此外公司還同金融,、教育、氣象,、水利,、政務(wù)、網(wǎng)絡(luò)安全等基礎(chǔ)設(shè)施行業(yè)的政府單位,、國央企與頭部廠商也已與其達(dá)成合作意向,，部分已完成簽約。多家智能設(shè)備主機(jī)廠商,、芯片廠商正同「陸兮科技」在積極接洽中,，希望在大模型芯片適配、端側(cè)智能操作系統(tǒng)研發(fā),、智能設(shè)備定制化設(shè)計等領(lǐng)域運(yùn)用類腦架構(gòu)與類腦大模型,。

硬氪了解到，由「陸兮科技」自主研發(fā)的類腦大模型,，已于今年8月獲得國家網(wǎng)信辦《生成式人工智能服務(wù)備案》,，這也是國內(nèi)首個取得該項備案的自研架構(gòu)大模型、非Transformer架構(gòu)大模型和采用“腦啟發(fā)算法”技術(shù)路線的大模型,，其非T架構(gòu)大模型即將正式上線,。