從計(jì)算量和參數(shù)規(guī)模的角度來說,，GPT存在巨大浪費(fèi),。我們可以通過新的框架和計(jì)算方法來避免這種浪費(fèi)MyScale拓展了結(jié)構(gòu)化查詢語言，在同一個(gè)系統(tǒng)中支持海量結(jié)構(gòu)化、向量,、文本、JSON數(shù)據(jù)交換格式,、空間,、時(shí)序等各類異構(gòu)數(shù)據(jù)的高效存儲(chǔ)和聯(lián)合查詢，數(shù)據(jù)密度,、插入速度,、查詢效率優(yōu)于國(guó)內(nèi)外其他系統(tǒng)“憶立方”模型通過將知識(shí)分層處理,，并引入內(nèi)置數(shù)據(jù)庫(kù)，來提高知識(shí)寫入和讀取的效率文 |《瞭望》新聞周刊記者 扈永順最近十幾年,，以深度學(xué)習(xí)為代表的AI技術(shù)取得了巨大進(jìn)展,。大語言模型的成功，仿佛使人類站在了智能化時(shí)代的起點(diǎn),。但以GPT為代表的大模型技術(shù)路線并不適合我國(guó)國(guó)情,。什么才是適合我國(guó)國(guó)情的AI發(fā)展路徑？如何才能保證我國(guó)AI長(zhǎng)期穩(wěn)定地發(fā)展,？近日,，中國(guó)科學(xué)院院士、北京大學(xué)國(guó)際機(jī)器學(xué)習(xí)研究中心主任鄂維南接受《瞭望》新聞周刊記者專訪時(shí)表示,，單純堆砌大模型并非長(zhǎng)久之計(jì),，我們應(yīng)在以下兩方面盡快布局：一是建立起一個(gè)完整的AI底層創(chuàng)新體系和創(chuàng)新團(tuán)隊(duì)，在模型架構(gòu),、AI系統(tǒng),、數(shù)據(jù)處理工具、高效訓(xùn)練芯片等方向謀求新突破,。二是探索AI的基本原理,，盡管我們與掌握AI的基本原理還有很大差距，但是我們已經(jīng)具備了探索這些基本原理的條件,。而長(zhǎng)期穩(wěn)定發(fā)展的技術(shù)路線,，必然會(huì)在這個(gè)探索過程中產(chǎn)生出來。多年來,，鄂維南帶領(lǐng)團(tuán)隊(duì)積極探索適合中國(guó)國(guó)情的AI發(fā)展路徑,，尤其是在中國(guó)AI for Science的發(fā)展中起到了引領(lǐng)作用。在網(wǎng)龍網(wǎng)絡(luò)公司的中國(guó)福建VR體驗(yàn)中心,，兩名參觀者在體驗(yàn)VR“智慧教室”（2024年7月18日攝） 魏培全攝/本刊堆砌大模型之路不適合我國(guó)《瞭望》：目前世界上主流的AI發(fā)展技術(shù)框架和思維模式是什么,？鄂維南：自2012年起，AI領(lǐng)域取得了顯著的成就：2016年,，基于深度強(qiáng)化學(xué)習(xí)的AI方法,，DeepMind的AlphaGo在圍棋比賽中戰(zhàn)勝了世界冠軍李世石，這是AI首次在圍棋這一復(fù)雜游戲中擊敗人類頂尖選手,。2023年,，OpenAI發(fā)布了ChatGPT，這是一個(gè)強(qiáng)大的語言模型,，它在自然語言理解和生成方面達(dá)到了前所未有的水平,。今年，DeepMind推出了AlphaGeometry，這是一個(gè)能夠在數(shù)學(xué)競(jìng)賽中表現(xiàn)出色的AI系統(tǒng),，展示了在解決復(fù)雜幾何問題方面取得的突破,。今年另一個(gè)值得關(guān)注的AI進(jìn)展是Sora，它能夠通過簡(jiǎn)單的文本提示生成逼真的視頻,，這標(biāo)志著物理世界與虛擬世界之間的橋梁已經(jīng)開始建立,。此外，在科學(xué)領(lǐng)域,，AI方法解決了蛋白結(jié)構(gòu)這樣一個(gè)生命科學(xué)中的基礎(chǔ)問題,，這是許多人未曾預(yù)料到的成就。AI取得進(jìn)步的一個(gè)重要原因就是深度神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用,。盡管深度學(xué)習(xí)受到熱捧之前人們就已經(jīng)在處理和分析大數(shù)據(jù),，但是真正讓大數(shù)據(jù)充分發(fā)揮作用的方法是深度學(xué)習(xí)，其標(biāo)志性事件是辛頓團(tuán)隊(duì)于2012年贏得ImageNet圖像識(shí)別比賽冠軍,。辛頓等人設(shè)計(jì)并訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)，取名AlexNet,。AlexNet有5層卷積網(wǎng)絡(luò),、3層全連接網(wǎng)絡(luò)，6000多萬個(gè)參數(shù),。需要強(qiáng)調(diào)的是,，辛頓等人在訓(xùn)練AlexNet的時(shí)候用的主要算法，如隨機(jī)梯度下降,、反向傳播等都是已知的,。辛頓團(tuán)隊(duì)的工作就是充分訓(xùn)練了這樣一個(gè)多層神經(jīng)網(wǎng)絡(luò)。辛頓等人的工作不僅改變了圖像識(shí)別,，而且改變了整個(gè)AI領(lǐng)域,，因?yàn)榛谏窠?jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法是一個(gè)通用方法。神經(jīng)網(wǎng)絡(luò)其實(shí)就是一類函數(shù),，它與多項(xiàng)式這類函數(shù)的不同之處在于它似乎是逼近多變量函數(shù)的有效工具,。也就是說，它能夠有效地幫助我們克服維數(shù)災(zāi)難和組合爆炸引起的困難,，這是過去的AI方法難以做到的,。因此神經(jīng)網(wǎng)絡(luò)也可以被用來解決科學(xué)領(lǐng)域碰到的多個(gè)自由度的問題，如蛋白結(jié)構(gòu)問題,、分子動(dòng)力學(xué)勢(shì)能函數(shù)問題等,，由此催生出了一個(gè)嶄新的科研范式：AI for Science。正因?yàn)樯疃葘W(xué)習(xí)在多變量函數(shù)逼近這樣一個(gè)非?；A(chǔ)性的問題上帶來了巨大突破,，所以它在各種各樣的問題上都給我們帶來了新的可能。大模型技術(shù)是一個(gè)新的突破,。之前的深度學(xué)習(xí)技術(shù)考慮的是單個(gè)任務(wù)和單個(gè)數(shù)據(jù)集,，大模型考慮的是所有任務(wù)和所有數(shù)據(jù),。以O(shè)penAI的GPT為代表的大模型技術(shù)在文本任務(wù)和文本數(shù)據(jù)上展示了令人驚奇的成功。但總體來說,，大模型技術(shù)還遠(yuǎn)沒有成熟,。《瞭望》：為什么說這一主流的AI發(fā)展模式不適合我國(guó),？鄂維南：從長(zhǎng)遠(yuǎn)的角度來看,，目前以GPT為代表的技術(shù)路徑并不適合我國(guó)國(guó)情。首先,，我國(guó)的算力與美國(guó)的相比有相當(dāng)大的差距,。目前國(guó)內(nèi)大模型第一梯隊(duì)的算力資源基本上是萬卡規(guī)模，比如擁有1萬張英偉達(dá)A100或類似級(jí)別的GPU卡,。然而美國(guó)的第一梯隊(duì)能達(dá)到10萬卡甚至更大規(guī)模,，10萬張卡的價(jià)值大約是200億到300億元人民幣，這對(duì)許多團(tuán)隊(duì)來說是一個(gè)巨大的成本負(fù)擔(dān),，許多開發(fā)基座模型的國(guó)內(nèi)團(tuán)隊(duì)可能不得不停下追趕的腳步,。其次，從計(jì)算量和參數(shù)規(guī)模的角度來說,，GPT存在巨大浪費(fèi),。我們可以通過新的框架和計(jì)算方法來避免這種浪費(fèi)。最后,，對(duì)圖像等問題,，GPT不一定是最佳技術(shù)路徑，我們還需要尋求更加有效的技術(shù)方案,。工作人員在2024世界人工智能大會(huì)上展示手勢(shì)控制機(jī)器人操作流程（2024年7月4日攝） 黃曉勇攝/本刊建立完整的AI底層創(chuàng)新體系《瞭望》：發(fā)展新一代AI,，需要解決哪些問題？鄂維南：要尋找替代路線,，并保證我國(guó)AI得到持續(xù),、穩(wěn)定的發(fā)展，就必須研究AI的底層邏輯,，探索其基本原理,，解決算力、數(shù)據(jù),、算法中的一些核心問題,。另外，我們還需要探索數(shù)據(jù)以外的其他思路,，包括邏輯推理,、幾何表示和物理規(guī)律的應(yīng)用。從算力角度看，我國(guó)已經(jīng)建設(shè)了一些算力中心,，比如萬卡規(guī)模的機(jī)房,。我們還需要持續(xù)投入，盡管需要尋求新的人工智能技術(shù)路徑，但是在算力上的投入不能放松,。未來我們可能需要考慮如何把分布在全國(guó)各地的算力資源有效地綜合利用起來，以支撐基座模型的訓(xùn)練,。要做到這一點(diǎn),，還需要從模型的層面、算法的層面做一些改變,，尋找更加適合于分布式算力和遠(yuǎn)程通信的模型框架,。從數(shù)據(jù)角度看，我們需要一套高效率,、標(biāo)準(zhǔn)化的數(shù)據(jù)處理工具,。處理好數(shù)據(jù)是提升模型能力的主要手段。現(xiàn)在我們?nèi)狈Ω咝实臄?shù)據(jù)處理工具,。除數(shù)據(jù)清洗和標(biāo)注工具以外,，還需要對(duì)數(shù)據(jù)做不同維度的畫像的工具，評(píng)估數(shù)據(jù)質(zhì)量,、數(shù)據(jù)難度的工具等,。從算法和模型的角度來看，我們要給模型瘦身,。目前的主流技術(shù)框架是把知識(shí)和推理能力都放在大模型里面,。其實(shí)一些具體知識(shí)沒必要放在模型里面。我們可以把它們存到一個(gè)知識(shí)庫(kù)里面,，讓大模型隨時(shí)調(diào)用,。這樣做就會(huì)大大降低模型規(guī)模。對(duì)不常用的知識(shí),，業(yè)界流行的外掛數(shù)據(jù)庫(kù)就可以實(shí)現(xiàn)這一技術(shù)方案,。對(duì)經(jīng)常用的知識(shí)，我們需要更加高效的方法,，這就是我們推出的“憶立方”模型要解決的問題,。我們還需要提高學(xué)習(xí)效率。目前大模型是純粹通過刷題的方式來學(xué)習(xí),。例如為了做加減乘除運(yùn)算,，GPT即便是學(xué)了1萬道題目，它也并沒有真正學(xué)到加減乘除的規(guī)則,。這樣的算法不夠有效,，是在拼蠻力。要解決這個(gè)問題,，我們需要把規(guī)則和大模型的學(xué)習(xí)能力結(jié)合在一起。一個(gè)例子是DeepMind推出的AlphaGeometry,，它求解國(guó)際奧林匹克數(shù)學(xué)競(jìng)賽中平面幾何題目的能力接近了人類最高水平,。它的主要做法是把邏輯推理方法和經(jīng)驗(yàn)方法相結(jié)合：定理庫(kù)和樹搜索提供具體證明,，而機(jī)器學(xué)習(xí)模型提供思路,，比如如何加輔助線。簡(jiǎn)單來說,，定理庫(kù)里面就是很多平面幾何的定理。一般平面幾何最難的地方是如何加輔助線,。這要靠經(jīng)驗(yàn),，靠積累，這是大模型擅長(zhǎng)的,。下一步它就到定理庫(kù)里面去找哪個(gè)定理可以用，用了以后能夠把問題簡(jiǎn)化,。這種方法不僅僅是對(duì)平面幾何，在更廣泛的場(chǎng)景都可以用,?！恫t望》：你帶領(lǐng)團(tuán)隊(duì)在建立AI底層創(chuàng)新體系方面,，已經(jīng)做了哪些工作？鄂維南：我們希望能夠全方位探索AI基本原理并且在此基礎(chǔ)上尋找下一代AI系統(tǒng)的技術(shù)路線,。目前我們的努力主要集中在數(shù)據(jù)和模型兩個(gè)方面,。在數(shù)據(jù)處理方面，我們團(tuán)隊(duì)研發(fā)了國(guó)際上第一個(gè)專門為大規(guī)模結(jié)構(gòu)化+非結(jié)構(gòu)化數(shù)據(jù)處理打造的AI數(shù)據(jù)庫(kù)MyScale（此前稱為MQDB）,，這也是目前國(guó)內(nèi)綜合性能最好,、功能最強(qiáng)的AI數(shù)據(jù)庫(kù)。MyScale拓展了結(jié)構(gòu)化查詢語言,，在同一個(gè)系統(tǒng)中支持海量結(jié)構(gòu)化,、向量,、文本,、JSON數(shù)據(jù)交換格式、空間,、時(shí)序等各類異構(gòu)數(shù)據(jù)的高效存儲(chǔ)和聯(lián)合查詢,，數(shù)據(jù)密度、插入速度,、查詢效率優(yōu)于國(guó)內(nèi)外其他系統(tǒng),。比如，MyScale能夠?qū)崿F(xiàn)海量非結(jié)構(gòu)化數(shù)據(jù)清洗,，減少數(shù)據(jù)收集量,、數(shù)據(jù)標(biāo)注，提高效率,，降低成本,。假設(shè)我們要訓(xùn)練一個(gè)自動(dòng)駕駛模型，我們就要處理各種不同的復(fù)雜場(chǎng)景,。因此我們需要高效率、高精度地抽取相應(yīng)場(chǎng)景的數(shù)據(jù),。我們可以在MyScale數(shù)據(jù)庫(kù)中直接搜索“行人過馬路”或“人行道上的行人或自行車”等場(chǎng)景來獲取相應(yīng)的數(shù)據(jù),，方便快捷。近期我們已將MyScale進(jìn)行了開源,，大部分功能已經(jīng)在開源版本中推出,，完全可以滿足用戶數(shù)據(jù)量不太大時(shí)候的需求，歡迎大家去使用,。在模型算法方面,，我們團(tuán)隊(duì)打造了“憶立方”模型，它通過將知識(shí)分層處理,，并引入內(nèi)置數(shù)據(jù)庫(kù),，來提高知識(shí)寫入和讀取的效率,。根據(jù)一個(gè)知識(shí)的使用頻率，來決定它的處理方式,。使用頻率最高的知識(shí),，我們把它放在大模型中，最低的放在外掛數(shù)據(jù)庫(kù)中,，常用的專業(yè)知識(shí)則放在內(nèi)置數(shù)據(jù)庫(kù)中,。這樣不但可以大大降低對(duì)模型規(guī)模的要求，同時(shí)也提高了知識(shí)的使用效率,。加快創(chuàng)新人才,、創(chuàng)新生態(tài)培育《瞭望》：建立完整的AI底層創(chuàng)新體系，還需要怎么做,？鄂維南：建立完整的AI底層創(chuàng)新體系,，需要探索AI發(fā)展的底層邏輯和基本原理，這是AI長(zhǎng)期發(fā)展的基礎(chǔ),。沒有對(duì)基本原理的理解,，我們無法保證AI的持續(xù)進(jìn)步，無法知道下一步該如何走,。從AI發(fā)展的歷史上看,，它經(jīng)歷了幾次大起大落，以及不斷的小起小落,。這種情況的出現(xiàn),，實(shí)際上也是因?yàn)槲覀儗?duì)基本原理和底層邏輯的理解不夠深入。探索AI的基本原理是一個(gè)非常困難的任務(wù),，這一探索需要多方面人才,、多方面資源的緊密合作和結(jié)合。在人才培養(yǎng)方面,，目前我們的主要精力都集中在離AI應(yīng)用最近的人才身上,，如機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺,、自然語言處理等,。但AI的長(zhǎng)期穩(wěn)定發(fā)展需要多方面、多層次的人才,。建議從整個(gè)計(jì)算產(chǎn)業(yè)的角度全面布局AI發(fā)展藍(lán)圖,，創(chuàng)新人才培養(yǎng)方式，培養(yǎng)綜合性,、前瞻性人才,，建設(shè)高質(zhì)量、多層次人才梯隊(duì)?，F(xiàn)在很多高校都成立了AI學(xué)院,，這既是好事,，但也可能成為一件壞事。應(yīng)該認(rèn)識(shí)到,，AI是一個(gè)非常特殊的學(xué)科,，它不只是一個(gè)典型的專業(yè)，還是一個(gè)需要從全校層面進(jìn)行規(guī)劃和布局的核心領(lǐng)域,。僅就人才培養(yǎng)來說,，對(duì)于AI方面的專業(yè)人才，我們要同時(shí)注重基本原理的思維能力和工程能力,；對(duì)非AI專業(yè)的人才,，我們必須切實(shí)加強(qiáng)AI通識(shí)教育。另外,，建議注重實(shí)現(xiàn)人才資源和算力資源的有效對(duì)接,。高校不缺人才但缺算力資源，大企業(yè)不缺算力但在人才資源方面處于劣勢(shì),。我們需要將有限的人才資源和算力資源有效地對(duì)接起來,。從創(chuàng)新生態(tài)來看，加快建立鼓勵(lì)原始創(chuàng)新的生態(tài)環(huán)境及文化,，提倡做與眾不同的事情,，提倡“別人做了，我就不再去湊熱鬧”的科研心態(tài),。市場(chǎng)應(yīng)給創(chuàng)新足夠的生存空間,，政府部門應(yīng)更加重視資源分配的合理性。作為創(chuàng)新群體,，我們必須具備高度的社會(huì)責(zé)任感,、冒險(xiǎn)精神和實(shí)干精神，下決心真正從源頭上解決科技創(chuàng)新中面臨的困難,，開創(chuàng)嶄新的局面,。來源：新華網(wǎng)