光明圖片/視覺中國光明圖片/視覺中國光明圖片/視覺中國沒有人知道人工智能（Artificial Intelligence,，AI）將如何改變世界,，原因之一在于，沒有人真正了解這些AI的內(nèi)部運作方式,。一些AI系統(tǒng)具備的能力遠遠超出了它們所受訓練的范圍——就連它們的發(fā)明者也對此感到困惑,。研究人員也在想盡辦法理解，為什么大語言模型能夠掌握那些沒人告訴過它們的知識,。越來越多的測試表明,，這些AI系統(tǒng)就像我們?nèi)祟惖拇竽X一樣，在自己的內(nèi)部構建出了現(xiàn)實世界的模型——盡管它們達成的方式和我們的不同,。AI是鸚鵡學舌嗎美國布朗大學的埃莉·帕夫利克是致力于填補這一空白的研究人員之一,。帕夫利克表示：“如果我們不了解它們是如何運作的，任何想要優(yōu)化人工智能,、使它變得更安全或者類似的行為，對我來說都是很荒謬的,?！睆哪撤N程度上說，帕夫利克和她的同事對“基于生成式預訓練模型”（Generative Pre-trained Transformer,，GPT）和其他類型的大型語言模型（LLM）了解得一清二楚,。這些模型都依賴于一種名為“神經(jīng)網(wǎng)絡”的機器學習系統(tǒng)——它的結構大致仿照了人腦的神經(jīng)元連接。用于構建神經(jīng)網(wǎng)絡的程序代碼相對簡單,，僅占幾個屏幕的篇幅就能建立起一種可自動更正的算法,。這種算法可以統(tǒng)計分析數(shù)百GB的互聯(lián)網(wǎng)文本，再挑選出最有可能的單詞,，由此生成一段內(nèi)容,。一些額外訓練還能確保系統(tǒng)以對話的形式呈現(xiàn)結果。從這個意義上說,，它所做的只是重復所學到的內(nèi)容——用美國華盛頓大學語言學家埃米莉·本德的話來說,，這就是一只“隨機鸚鵡”。這并不是詆毀已故的非洲灰鸚鵡亞歷克斯,，它能夠理解諸如顏色,、形狀和面包等概念，并且會有意地使用相應的詞語,。不過,，LLM也通過了律師資格考試，并就希格斯玻色子寫了一首十四行詩,，甚至還試圖破壞用戶的婚姻,。鮮有人預料到，一個相當簡單的自動更正算法可以具備如此廣泛的能力,。此外,，GPT和其他AI系統(tǒng)還能執(zhí)行未經(jīng)訓練的任務，因而會產(chǎn)生一些“涌現(xiàn)能力”（Emergent Abilities,，隨模型規(guī)模增大而不可預測地出現(xiàn)的能力）,。這一點甚至讓那些對LLM過度宣傳普遍持懷疑態(tài)度的研究人員也感到驚訝,。美國圣菲研究所的AI研究員梅拉妮·米切爾表示：“我不知道它們是如何做到的,，也不知道它們能否像人類那樣在更普遍意義上做到這一點,，但現(xiàn)在的情況已經(jīng)挑戰(zhàn)了我的觀點?！奔幽么竺商乩麪柎髮W的AI研究員約書亞·本希奧說：“它肯定比‘隨機鸚鵡’要強得多,，并且確實構建出了一些關于現(xiàn)實世界的內(nèi)部表征——盡管我認為這和人類腦中構建世界模型的方式不大相同?！庇楷F(xiàn)能力今年3月,，在美國紐約大學舉辦的一場會議上，美國哥倫比亞大學的哲學家拉斐爾·米利埃展示了LLM另一個令人瞠目結舌的能力,。我們已經(jīng)知道這些模型具備令人印象深刻的寫代碼能力,，但由于網(wǎng)上有太多的代碼可以模仿，所以不足為奇,。相比之下,，米利埃更進一步證明，GPT也有執(zhí)行代碼的能力,。這位哲學家輸入了一個用于計算斐波那契數(shù)列中第83個數(shù)字的程序,。“執(zhí)行這套程序需要非常高級的多步推理,，”他說,。盡管AI聊天機器人似乎本不應該能夠?qū)崿F(xiàn)此類操作，但它卻成功了,。不過,，當米利埃直接問它第83個斐波那契數(shù)是多少時，它卻答錯了,。這樣看來,，它不僅僅是一只“隨機鸚鵡”、只能根據(jù)見過的數(shù)據(jù)輸出答案,，而是可以通過執(zhí)行運算來得出答案,。盡管LLM是在計算機上運行的，但它本身并不是計算機,。因為它缺乏必要的計算元素,，比如工作記憶（對信息進行短時存儲和加工的記憶系統(tǒng)）。GPT被默認自身無法運行代碼,，對此它的發(fā)明者——科技公司OpenAI推出了一個專門的插件,，以便使生成式預訓練聊天機器人可以在回答問題時使用這種工具來運行代碼。不過,，米利埃展示的工作并沒有使用這種插件,。相反,，他猜測GPT可以利用它根據(jù)上下文解釋單詞的能力，臨時創(chuàng)建一種記憶——這種行為很像自然界中的生物如何將現(xiàn)有能力重新用于實現(xiàn)新功能一樣,。這種可以臨時產(chǎn)生記憶的能力表明,，LLM發(fā)展出了遠超出簡單統(tǒng)計分析的內(nèi)部復雜性。研究人員發(fā)現(xiàn),，這些系統(tǒng)似乎能夠真正理解它們所學的內(nèi)容,。在今年5月舉辦的國際表征學習大會上，美國哈佛大學的博士生肯尼思·李和他的同事報告了一項研究,，他們搭建了一個較小的GPT神經(jīng)網(wǎng)絡,，以便研究其內(nèi)部運作。通過以文本形式輸入棋子走法,，他們對它進行了數(shù)百萬場黑白棋（Othello）的比賽訓練,，從而使他們的模型成為一名近乎完美的玩家。為了研究神經(jīng)網(wǎng)絡如何編碼信息,，他們采用了來自蒙特利爾大學的本希奧和紀堯姆·阿蘭于2016年開發(fā)的一項技術,。他們創(chuàng)建了一種微型“探針”網(wǎng)絡來逐層分析主網(wǎng)絡?？夏崴肌だ钫J為這好比神經(jīng)科學中的方法,，“就像把探針放入人腦一樣?！本涂夏崴肌だ畹热擞柧毜腁I模型而言,，探針顯示它的“神經(jīng)活動”與一場黑白棋游戲的表征相匹配，不過是以卷積的形式存在,。為了證實這一點,，研究人員在將信息植入網(wǎng)絡時反向運行探針，例如,，將棋盤游戲中的一枚黑棋翻轉(zhuǎn)成白棋,。肯尼思·李表示：“從根本上說,，我們侵入了這些語言模型的‘大腦’,。”結果顯示,，神經(jīng)網(wǎng)絡據(jù)此調(diào)整了自己的行為,。研究人員推斷，它在玩黑白棋時與人類大致相同：在“腦?！敝邢胂笠粋€棋盤,，并使用這個模型來評估可走的棋步。肯尼思·李認為,，系統(tǒng)之所以能夠?qū)W會這項技能,，是因為這是對它所接受的訓練數(shù)據(jù)的最簡潔的一種描述?！叭绻阌幸淮蠖延螒蚰_本,，那么最好的壓縮數(shù)據(jù)的方法就是嘗試找出背后的規(guī)則?！彼a充道,。這種推斷外部世界結構的能力并不局限于簡單的走棋動作,，它還表現(xiàn)在對話中,。麻省理工學院的研究人員利用一種文字冒險游戲研究了神經(jīng)網(wǎng)絡。他們會輸入一些語句,，比如先輸入“鑰匙在寶箱里”,，然后輸入“你拿走鑰匙”。利用一種探針,，他們發(fā)現(xiàn)這些神經(jīng)網(wǎng)絡已經(jīng)在內(nèi)部編碼了與“寶箱”和“你”對應的變量,，每個變量都分為“有鑰匙”和“無鑰匙”這兩種情況，并且變量的值會隨輸入語句的不同而不斷更新,。這個系統(tǒng)并不能獨立地理解寶箱和鑰匙的含義,，但是它可以從語句中挑選出完成這項任務所需的概念。研究人員驚嘆于LLM能夠從文本中學到如此多的內(nèi)容,。例如,，帕夫利克和同事發(fā)現(xiàn)，這些神經(jīng)網(wǎng)絡可以從互聯(lián)網(wǎng)的文本數(shù)據(jù)中獲得關于顏色的描述,，然后構建關于顏色的內(nèi)部表征,。當它們看到“紅色”這個詞時，不只是將它作為一個抽象符號來處理,，還會把它當作一個與栗色,、深紅色、紫紅色和鐵銹色等顏色具有某種聯(lián)系的概念,。想要體現(xiàn)出這一點還有些棘手,。研究人員并沒有使用探針，而是研究了AI模型對一系列文本提示所作的響應,。為了檢驗AI系統(tǒng)是否只是在模仿互聯(lián)網(wǎng)上數(shù)據(jù)中不同顏色之間的關系,，他們嘗試誤導系統(tǒng)，告訴它紅色其實是綠色,。結果表明,，AI系統(tǒng)并沒有照搬錯誤的答案，而是通過適當更正輸出了正確答案。AI可以通過找到訓練數(shù)據(jù)背后的邏輯來實現(xiàn)自我更正,，對此微軟研究院的機器學習研究員塞巴斯蒂安·布貝克表示,，數(shù)據(jù)范圍越廣，系統(tǒng)發(fā)現(xiàn)的規(guī)則就越普遍,。語境學習除了提取語言的潛在含義外,，LLM還能現(xiàn)學現(xiàn)用。在人工智能領域,，“學習”一詞通常用在計算密集型的進程中,，包括開發(fā)人員給神經(jīng)網(wǎng)絡提供GB級別的數(shù)據(jù)，以及修改其內(nèi)部連接,。當你向生成式預訓練聊天機器人提出一個問題時,，神經(jīng)網(wǎng)絡理應固定不變，因為它不像人類一樣會繼續(xù)學習,。但令人驚訝的是,，LLM實際上可以學會根據(jù)用戶給出的提示生成與上下文相關的輸出，這種能力被稱為“上下文學習”（In-context Learning,，又稱語境學習）,。AI公司SingularityNET的創(chuàng)始人本·戈策爾表示：“這是一種完全不同的學習方式，此前我們并不真正了解它,?！比祟惻cAI聊天機器人之間的交互方式是展示LLM如何學習的一個例子。你可以給系統(tǒng)舉例說明你希望它如何響應,，然后它就會服從你的指令,。它的輸出取決于它看到的最后幾千個單詞，這樣的行為是由AI模型固定的內(nèi)部連接決定的——不過單詞序列提供了一定程度的可變性,。整個互聯(lián)網(wǎng)都在致力于尋找讓模型“越獄”的提示詞,，以此突破系統(tǒng)防護——例如，系統(tǒng)防護會阻止它告訴用戶如何制作管狀炸彈——這通常是通過引導模型“扮演”一個沒有防護的系統(tǒng)來實現(xiàn)的,。有些人利用“越獄”來達成一些可疑意圖,，而另一些人則是利用“越獄”來獲得更具創(chuàng)造性的答案。佛羅里達大西洋大學機器感知與認知機器人實驗室聯(lián)合主任威廉·哈恩表示,，與不加“越獄”提示詞而直接詢問AI科學問題相比,，加了以后可以表現(xiàn)得更好，“我認為這將能更好地解決科學問題,?！睋Q句話說，“越獄后的模型更擅長學術問題,?！绷硪环N類型的語境學習則是通過一種叫做“思維鏈”的提示方法實現(xiàn)的。這種方法要求神經(jīng)網(wǎng)絡闡明其推理過程中的每一步，從而使LLM在需要多步推理的邏輯或算術問題上做得更好,。值得一提的是,，米利埃的研究并沒有使用類似的提示方法，這也是它令人如此驚訝的原因之一,。2022年,，由谷歌研究院和瑞士蘇黎世聯(lián)邦理工學院的研究人員組成的一支團隊發(fā)現(xiàn)，語境學習與標準學習都遵循一種名為“梯度下降法”（Gradient Descent）的基本算法——該操作是AI系統(tǒng)在沒有人類幫助下自行發(fā)現(xiàn)的,?！斑@是AI習得的一種能力，”谷歌研究院副總裁布萊斯·阿圭拉-阿爾卡斯說,。事實上,，他認為LLM可能還有其他尚未被發(fā)現(xiàn)的能力。現(xiàn)在LLM還有相當多的盲點,，所以我們還不能把它稱為通用人工智能（AGI,，具備與生物大腦類似智慧的機器）,，但一些研究人員認為,，它們這些涌現(xiàn)能力表明，科技公司距離AGI也許比樂觀主義者猜測的還要更近,。今年3月,，戈策爾在佛羅里達大西洋大學舉行的深度學習會議上說：“它們間接證明我們離AGI可能并不遙遠?！監(jiān)penAI的插件使生成式預訓練聊天機器人具有了模塊化的架構,，與人類大腦有些類似。麻省理工學院的研究員安娜·伊萬諾娃表示：“將GPT-4（為生成式預訓練聊天機器人提供技術支持的最新版本的LLM）與各種插件相結合,，可能是一條通往AGI的途徑,。”但與此同時,，研究人員還擔心他們研究這些系統(tǒng)的機會窗口可能正在關閉,。OpenAI沒有透露GPT-4設計和訓練的細節(jié)，部分原因是它陷入了與谷歌等其他公司——且不說其他國家的競爭中,。丹·羅伯茨是麻省理工學院的理論物理學家,，主要運用專業(yè)知識來理解人工智能。羅伯茨表示：“業(yè)界公開的研究將可能會減少,，而圍繞產(chǎn)品構建的研究工作將變得更加孤立且組織化,。”缺乏透明度不只不利于研究的開展,，圣菲研究所的米切爾說,。它還會阻礙我們對AI熱潮所產(chǎn)生的社會影響的理解。“這些模型透明化是確保AI安全性最重要的一點,?！保ㄗ模簡讨巍ゑR瑟 翻譯：陶兆巍）（本文由《環(huán)球科學》雜志社供稿）