文 | Craig S. Smith

隨著我們飛快地邁向一個(gè)充滿人工智能的未來(lái),，科技巨頭,、研究人員和投資者似乎都在瘋狂地爭(zhēng)先恐后地開(kāi)發(fā)最先進(jìn)的人工智能技術(shù),。

許多人開(kāi)始質(zhì)疑：這是否進(jìn)展得過(guò)快,，是否考慮到了風(fēng)險(xiǎn)呢？就此問(wèn)題筆者（克雷格·史密斯,，《紐約時(shí)報(bào)》的前記者）與OpenAI聯(lián)合創(chuàng)始人和首席科學(xué)家Ilya SutskeverIlya進(jìn)行了討論,。

Ilya Sutskever是OpenAI的聯(lián)合創(chuàng)始人和首席科學(xué)家，也是大型語(yǔ)言模型GPT-4以及其公開(kāi)后代ChatGPT的主要負(fù)責(zé)人之一,。說(shuō)他正在改變世界并不夸張,。這也不是Ilya第一次改變世界了。他曾是AlexNet的主要推動(dòng)者,，這種卷積神經(jīng)網(wǎng)絡(luò)以其驚人的性能在2012年震驚了科學(xué)界,，并引發(fā)了深度學(xué)習(xí)的革命。

在筆者看來(lái),，AI發(fā)展這個(gè)問(wèn)題并非完全無(wú)關(guān)緊要,。有數(shù)百位敏銳的專家正在考慮著這種反烏托邦的各種可能性——以及避免它們的方法。但事實(shí)上,，未來(lái)是未知的,，這種強(qiáng)大新技術(shù)所帶來(lái)的影響，就如同互聯(lián)網(wǎng)剛出現(xiàn)一樣難以想象,。它將同時(shí)帶來(lái)利與弊,，它不能被阻止，但可以被理解,。

OpenAI是一個(gè)非盈利的人工智能研究機(jī)構(gòu),，它的衍生公司可能會(huì)成為全球最賺錢的實(shí)體之一。筆者與Ilya的交談是在OpenAI最新版本的巨型人工智能系統(tǒng)GPT-4發(fā)布之前進(jìn)行的,，該系統(tǒng)已經(jīng)攝入了數(shù)十億字的文本——這比任何一個(gè)人一生中可能閱讀的文本都要多,。

GPT是“生成式預(yù)訓(xùn)練轉(zhuǎn)換器”（ Generative Pre-trained Transformer）的縮寫(xiě)，這三個(gè)詞對(duì)于理解這個(gè)像荷馬史詩(shī)中的波呂斐摩斯般的AI巨人非常重要,。轉(zhuǎn)換器是這個(gè)巨型系統(tǒng)核心算法的名稱,。預(yù)訓(xùn)練指的是該龐然大物接受了大量的文本語(yǔ)料的教育，從而使其可以理解語(yǔ)言的基本模式和關(guān)系——簡(jiǎn)而言之,，教會(huì)它理解世界,。生成式意味著AI可以在這個(gè)知識(shí)基礎(chǔ)上創(chuàng)造出新的想法。

人工智能已經(jīng)占據(jù)了我們的生活,，但即將到來(lái)的將是更為先進(jìn),、更為強(qiáng)大的技術(shù)。我們正在進(jìn)入未知的領(lǐng)域,，這值得我們花一些時(shí)間來(lái)考慮它意味著什么,。但注意不要反應(yīng)過(guò)度，不要像烏龜一樣躲避現(xiàn)在照耀在我們身上的明亮太陽(yáng),。

人工智能不會(huì)吃掉我們,。

OpenAI的聯(lián)合創(chuàng)始人兼首席科學(xué)家 Ilya Sutskever。圖片來(lái)源：University of Toronto

為保證文本清晰連貫,，以下對(duì)話內(nèi)容經(jīng)過(guò)編輯整理,。

Craig S. Smith：

Ilya，我知道你出生在俄羅斯,，是什么讓你對(duì)計(jì)算機(jī)科學(xué),、神經(jīng)科學(xué)或者類似的方向產(chǎn)生了興趣？

Ilya Sutskever：

的確,，我出生在俄羅斯,，我在以色列長(zhǎng)大，在青少年時(shí)期,，我和家人一起移民到了加拿大,。我的父母說(shuō)我從小就對(duì)人工智能很感興趣。我也受到了很大的覺(jué)知驅(qū)動(dòng),。曾經(jīng)這讓我非常困擾,，因此我對(duì)能幫助我更好理解它的事物充滿了好奇。

我很早就開(kāi)始與 Geoff Hinton [深度學(xué)習(xí)的創(chuàng)始人之一,，時(shí)任多倫多大學(xué)的教授,；深度學(xué)習(xí)是GPT-4 背后的AI種類 ] 合作，當(dāng)時(shí)我才17歲,。因?yàn)槲覀儼岬搅思幽么?，我立刻就入讀了多倫多大學(xué)。那時(shí)我非常想研究機(jī)器學(xué)習(xí),，因?yàn)檫@似乎是人工智能最重要的方面,，而在當(dāng)時(shí)這是完全不可觸及的。

那是2003年?，F(xiàn)在我們會(huì)理所當(dāng)然地認(rèn)為計(jì)算機(jī)是能夠?qū)W習(xí)的,，但在那時(shí)我們默認(rèn)的是計(jì)算機(jī)無(wú)法學(xué)習(xí),。那時(shí)人工智能領(lǐng)域的最大成就是IBM研發(fā)的象棋引擎“深藍(lán)”（Deep Blue）（它在1997年擊敗了象棋世界冠軍 Garry Kasparov）,。

但在當(dāng)時(shí)，有這么一個(gè)游戲,，也有這么一項(xiàng)研究,，還有這種簡(jiǎn)單的方法來(lái)確定一個(gè)（象棋）走法是否比另一個(gè)更好。當(dāng)時(shí)我們真的感覺(jué)這不可能適用于現(xiàn)實(shí)世界,，因?yàn)楫?dāng)中沒(méi)有涉及到學(xué)習(xí),。學(xué)習(xí)是一個(gè)很大的謎，而我對(duì)（機(jī)器）學(xué)習(xí)真的非常非常感興趣,。幸運(yùn)的是,，Geoff Hinton是這所大學(xué)的教授,，我們幾乎立即就開(kāi)始了合作。

那么智能究竟是如何工作的,？我們?nèi)绾问褂?jì)算機(jī)稍微具有智能呢,？我有一個(gè)非常明確的意圖，那就是為AI做出非常小但真實(shí)的貢獻(xiàn),。因此,，對(duì)我來(lái)說(shuō)，一大初衷就是我能否理解智能是如何工作的,，以及如何為之做出貢獻(xiàn),？那就是我最初的動(dòng)機(jī)。而那幾乎是20年前的事了,。

簡(jiǎn)而言之,，我意識(shí)到，如果你使用一個(gè)足夠大的數(shù)據(jù)集來(lái)訓(xùn)練一個(gè)大而深的神經(jīng)網(wǎng)絡(luò),，使之能夠完成一些人類能夠完成復(fù)雜任務(wù),，比如視覺(jué)任務(wù)，那么你必然會(huì)獲得成功,。這個(gè)想法的邏輯是不可簡(jiǎn)化的,，因?yàn)槲覀冎廊祟惔竽X可以快速地解決這些任務(wù)，而人腦本質(zhì)上就是一個(gè)由慢神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò),。

所以,，我們只需要使用一個(gè)更小但與之類似的神經(jīng)網(wǎng)絡(luò)，并使用數(shù)據(jù)對(duì)其進(jìn)行訓(xùn)練,。然后,，計(jì)算機(jī)內(nèi)部最好的神經(jīng)網(wǎng)將與我們的大腦中執(zhí)行這個(gè)任務(wù)的神經(jīng)網(wǎng)絡(luò)非常類似。

Craig S. Smith：

2017年,，《Attention Is All You Need》這篇論文出爐,，首次提出了自注意力和轉(zhuǎn)換器的概念。那么GPT項(xiàng)目是從什么時(shí)候開(kāi)始的,？當(dāng)時(shí)你們對(duì)于轉(zhuǎn)換器是否存在某種直覺(jué),？

Ilya Sutskever：

就背景而言，從OpenAI的最早時(shí)期開(kāi)始,，我們就一直在探索一個(gè)想法：（機(jī)器學(xué)習(xí)）只需要能夠預(yù)測(cè)下一個(gè)事物,。當(dāng)時(shí)，我們用的是更為有限的神經(jīng)網(wǎng)絡(luò),，但我們想的是,，如果有一個(gè)神經(jīng)網(wǎng)絡(luò)能夠預(yù)測(cè)下一個(gè)單詞，它就能解決無(wú)監(jiān)督學(xué)習(xí)問(wèn)題,。因此,，在GPT誕生之前,，無(wú)監(jiān)督學(xué)習(xí)被認(rèn)為是機(jī)器學(xué)習(xí)的圣杯。

現(xiàn)在,，這個(gè)問(wèn)題已經(jīng)完全解決了,，甚至沒(méi)有人再談?wù)撍?，但它曾?jīng)是一個(gè)“圣杯”。它曾是一個(gè)非常神秘的問(wèn)題，因此我們一直在探索這個(gè)想法,。我當(dāng)時(shí)對(duì)此真的非常興奮,，認(rèn)為只要（機(jī)器學(xué)習(xí)）能夠足夠好地預(yù)測(cè)到下一個(gè)單詞,，它就能實(shí)現(xiàn)無(wú)監(jiān)督學(xué)習(xí),。

但我們那時(shí)的（電腦）神經(jīng)網(wǎng)絡(luò)并不能勝任這個(gè)任務(wù)。我們使用的是遞歸神經(jīng)網(wǎng)絡(luò),。當(dāng)轉(zhuǎn)換器的概念問(wèn)世后,，那篇論文一出來(lái)，真的是就在它出來(lái)的第二天,，我們立即意識(shí)到轉(zhuǎn)換器解決了遞歸神經(jīng)網(wǎng)絡(luò)的局限性,，解決了學(xué)習(xí)長(zhǎng)期依賴性的問(wèn)題。

這是一個(gè)技術(shù)問(wèn)題,。但我們立刻就改用了轉(zhuǎn)換器,。于是，我們?cè)陂_(kāi)發(fā)GPT非常初步的階段就使用了轉(zhuǎn)換器,。后來(lái)它的表現(xiàn)越來(lái)越好,，我們也讓它的功能越來(lái)越強(qiáng)大。

這就最終導(dǎo)致了GPT-3和我們今天的情況,。

Craig S. Smith：

現(xiàn)有的大型語(yǔ)言模型的局限性在于,，它們所擁有的知識(shí)僅限于訓(xùn)練它們所使用的語(yǔ)言范圍內(nèi)。但我想我們每個(gè)人都同意,，大多數(shù)人類知識(shí)是在語(yǔ)言之外的,。

它們的目標(biāo)是滿足提示的統(tǒng)計(jì)一致性，它們并沒(méi)有對(duì)語(yǔ)言所涉及到的現(xiàn)實(shí)情況有根本的理解,。我問(wèn)過(guò)ChatGPT 關(guān)于我自己的信息,，它認(rèn)識(shí)到我是一名記者，曾在多家報(bào)紙工作,，但它說(shuō)了很多我從未獲得的獎(jiǎng)項(xiàng),。那聽(tīng)上去很棒，但與基本現(xiàn)實(shí)幾乎是脫節(jié)的,。在你們的未來(lái)研究中，是否有解決這個(gè)問(wèn)題的計(jì)劃,？

Ilya Sutskever：

有多大的可能性今天我們看到的這些局限在兩年內(nèi)依然存在? 對(duì)此我保持樂(lè)觀,。

對(duì)于這個(gè)問(wèn)題的一個(gè)部分,，即“這些模型只是學(xué)習(xí)統(tǒng)計(jì)規(guī)律性，因此它們并不真正知道世界的本質(zhì)是什么”,，我還想說(shuō)一個(gè)我自己的看法,。

我的看法與此不同。換句話說(shuō),，我認(rèn)為學(xué)習(xí)統(tǒng)計(jì)規(guī)律比我們想象的更重要,。

預(yù)測(cè)也是一種統(tǒng)計(jì)現(xiàn)象。然而,，為了進(jìn)行預(yù)測(cè),，你需要了解產(chǎn)生數(shù)據(jù)的基本過(guò)程。你需要對(duì)產(chǎn)生數(shù)據(jù)的世界有越來(lái)越多的了解,。

我認(rèn)為隨著我們的生成式模型變得異常優(yōu)秀,，它們將具有我所說(shuō)的對(duì)世界和其許多微妙之處的驚人程度的理解。它是通過(guò)文本的角度來(lái)看待世界的,。它試圖通過(guò)人類在互聯(lián)網(wǎng)上所表達(dá)的文本空間上的世界投影來(lái)更多地了解世界,。

但是這些文本已經(jīng)表達(dá)了這個(gè)世界。我給你舉個(gè)最近的例子,，我認(rèn)為這很有意思,。我們都聽(tīng)說(shuō)過(guò) Sydney是ChatGPT的第二自我。當(dāng)用戶告訴 Sydney 他認(rèn)為谷歌是比必應(yīng)更好的搜索引擎時(shí),，Sydney 就會(huì)變得有點(diǎn)好斗和具有攻擊性,。

如何理解這種現(xiàn)象？它是什么意思,？你可以說(shuō),，這是因?yàn)樗皇穷A(yù)測(cè)了人們會(huì)做什么，而人類就是會(huì)這樣做,。這沒(méi)錯(cuò),，但也許我們現(xiàn)在正在到達(dá)一個(gè)點(diǎn)，即心理學(xué)的語(yǔ)言開(kāi)始被挪用來(lái)理解這些神經(jīng)網(wǎng)絡(luò)的行為,。

現(xiàn)在讓我們?cè)賮?lái)談?wù)劸窒扌?。確實(shí)，這些神經(jīng)網(wǎng)絡(luò)有產(chǎn)生幻覺(jué)的傾向,。這是因?yàn)檎Z(yǔ)言模型非常適合學(xué)習(xí)有關(guān)世界的知識(shí),，但不太適合產(chǎn)生好的輸出。這其中有各種各樣的技術(shù)原因,。語(yǔ)言模型更擅長(zhǎng)學(xué)習(xí)關(guān)于世界,、想法、概念、人物,、過(guò)程的令人難以置信的表征,，但它的輸出并不像人們希望的那樣好，或者說(shuō)不如它們本應(yīng)該的那樣好,。

因此,，例如對(duì)于像ChatGPT這樣的系統(tǒng)，它是一個(gè)語(yǔ)言模型,，具有額外的強(qiáng)化學(xué)習(xí)訓(xùn)練過(guò)程,。我們稱之為人類反饋強(qiáng)化學(xué)習(xí)。

可以說(shuō),，在預(yù)訓(xùn)練過(guò)程中,，我們想（讓它）學(xué)習(xí)的是關(guān)于這個(gè)世界的一切。但通過(guò)人類反饋的強(qiáng)化學(xué)習(xí),，我們關(guān)心的是它的輸出,。我們會(huì)告訴它，如果它在任何時(shí)候做出了不合時(shí)宜的輸出,，那么以后就不要再做了,。如果它在任何時(shí)候做出了沒(méi)有意義的輸出，以后也不要再做了,。

這樣一來(lái),，它很快就學(xué)會(huì)了產(chǎn)生好的輸出。但是輸出的水平在語(yǔ)言模型預(yù)訓(xùn)練過(guò)程中并不是這樣的,。

至于產(chǎn)生幻覺(jué)這個(gè)問(wèn)題,，它有時(shí)候有捏造內(nèi)容的傾向，這也極大地限制了它們的實(shí)用性,。但是我認(rèn)為我們很有希望通過(guò)簡(jiǎn)單地改進(jìn)這個(gè)從人類反饋中強(qiáng)化學(xué)習(xí)的步驟,，教會(huì)它不產(chǎn)生幻覺(jué)。現(xiàn)在你可能會(huì)問(wèn)說(shuō)它真的會(huì)學(xué)習(xí)嗎,？我的回答是,，讓我們拭目以待。

我們目前的做法是雇人來(lái)教我們的神經(jīng)網(wǎng)絡(luò)如何表現(xiàn),，教ChatGPT如何表現(xiàn),。你只需與它互動(dòng)，它就會(huì)從你的反應(yīng)中推斷出：“哦,，這不是你想要的,。你對(duì)它的輸出不滿意。因此這一次的輸出不好,，下一次應(yīng)該做些不同的事情,?！?我認(rèn)為這種方法有相當(dāng)大的機(jī)會(huì)能夠完全解決幻覺(jué)問(wèn)題。

Craig S. Smith：

Yann LeCun（Facebook首席人工智能科學(xué)家和深度學(xué)習(xí)的另一位早期先驅(qū)）認(rèn)為,，大型語(yǔ)言模型所缺少的是這種底層的世界模型,，它是非語(yǔ)言的,，而語(yǔ)言模型可以參考,。 我想聽(tīng)聽(tīng)你對(duì)此的看法，以及你是否已經(jīng)探索過(guò)這一領(lǐng)域,。

Ilya Sutskever：

我回顧了Yann LeCun的主張,，其中有一些想法，它們用不同的語(yǔ)言表達(dá),，與目前的范式也許有一些小的差異,，但在我看來(lái)，這些差異并不十分顯著,。

第一個(gè)主張是,，一個(gè)系統(tǒng)最好能有多模態(tài)的理解，它不只是從文本中了解世界,。我對(duì)此的評(píng)論是,，多模態(tài)理解確實(shí)是可取的，因?yàn)槟憧梢粤私飧嗟氖澜?，你可以了解更多的人,，你可以了解他們的狀況，所以系統(tǒng)將能夠更好地理解它應(yīng)該解決的任務(wù),，以及人們和他們想要什么,。

我們?cè)谶@方面已經(jīng)做了相當(dāng)多的工作，其中最值得一提的是我們完成的兩個(gè)重要神經(jīng)網(wǎng)絡(luò),，一個(gè)叫做Clip,，一個(gè)叫做Dall-E。它們都在朝著這個(gè)多模態(tài)的方向發(fā)展,。但我也想說(shuō),，我不認(rèn)為這是非此即彼的情況，如果你沒(méi)有視覺(jué),，如果你不能從視頻或圖像中理解世界,，那么事情就不會(huì)順利進(jìn)行。

而我想為這一點(diǎn)做個(gè)說(shuō)明,。我認(rèn)為有些東西從圖像和圖表等方面更容易學(xué)習(xí),，但我也認(rèn)為，你仍然可以只從文字中學(xué)習(xí),，只是速度更慢,。我給你舉個(gè)例子：思考一下顏色的概念,。

毫無(wú)疑問(wèn)，我們無(wú)法僅從文本中學(xué)習(xí)顏色的概念,，但是當(dāng)你看到嵌入——我需要做一個(gè)小小的轉(zhuǎn)折來(lái)解釋“嵌入”的概念,。每個(gè)神經(jīng)網(wǎng)絡(luò)通過(guò)“嵌入”表示法，即高維向量,，來(lái)代表單詞,、句子和概念。

我們可以看一下這些高維向量,，看看什么與什么相似,，以及網(wǎng)絡(luò)是如何看待這個(gè)概念或那個(gè)概念的？因此,，只需要查看顏色的嵌入向量,，機(jī)器就會(huì)知道紫色比紅色更接近藍(lán)色，以及紅色比紫色更接近橙色,。它只是通過(guò)文本就能知道所有這些東西,。這是怎么做到的呢？

如果你擁有視覺(jué),，顏色之間的差異就會(huì)立刻顯現(xiàn)出來(lái),，你能立即感知到它們。然而通過(guò)文本來(lái)感知,，你需要更長(zhǎng)的時(shí)間,；也許你知道如何說(shuō)話，你已經(jīng)理解了句法,、單詞和語(yǔ)法,，但是要在很久之后你才真正開(kāi)始理解顏色。

因此,，這就是我對(duì)多模態(tài)性的必要性的看法：我認(rèn)為它并非必須,，但絕對(duì)是有用的。我認(rèn)為這是一個(gè)值得追求的好方向,。我只是不認(rèn)為應(yīng)該將它們分得如此明確,。

LeCun在論文中提出的主張聲稱，其中一個(gè)主要挑戰(zhàn)是預(yù)測(cè)具有不確定性的高維向量,。但有一點(diǎn)讓我覺(jué)得很驚訝,，或者至少在那篇論文中沒(méi)有得到承認(rèn)，那就是目前的自回歸轉(zhuǎn)換器已經(jīng)具備了這種特性,。

我給你舉兩個(gè)例子,。一個(gè)是對(duì)于給定一本書(shū)中任意的一頁(yè)，預(yù)測(cè)其下一頁(yè)的內(nèi)容,。下一頁(yè)有非常多的可能性,。這是一個(gè)非常復(fù)雜的高維空間,，而它們可以很好地處理它。同樣的情況也適用于圖像,。這些自回歸轉(zhuǎn)換器在圖像上也運(yùn)作得非常完美,。

例如，像OpenAI一樣,，我們對(duì)iGPT也進(jìn)行了測(cè)試,。我們只需取一個(gè)轉(zhuǎn)換器，并將其應(yīng)用于像素,，它就能夠非常好地運(yùn)作,，并可以以非常復(fù)雜和微妙的方式生成圖像,。在Dall-E 1上也是同樣的情況,。

所以，我認(rèn)為那篇論文中對(duì)當(dāng)前方法無(wú)法處理高維分布的評(píng)論過(guò)于絕對(duì)了——我認(rèn)為它們絕對(duì)可以,。

Craig S. Smith：

關(guān)于有一支人類培訓(xùn)師隊(duì)伍與ChatGPT或一個(gè)大型語(yǔ)言模型一起工作,，用強(qiáng)化學(xué)習(xí)來(lái)指導(dǎo)它的想法，只是憑直覺(jué),，這聽(tīng)起來(lái)不像是一個(gè)教模型了解其語(yǔ)言的基本現(xiàn)實(shí)的有效方法,。

Ilya Sutskever：

我不同意這個(gè)問(wèn)題的措辭。我認(rèn)為我們的預(yù)訓(xùn)練模型已經(jīng)知道了它們需要了解的關(guān)于基礎(chǔ)現(xiàn)實(shí)的一切,。它們已經(jīng)具備了有關(guān)語(yǔ)言的知識(shí)以及有關(guān)產(chǎn)生這種語(yǔ)言的世界進(jìn)程的大量知識(shí),。

大型生成模型對(duì)其數(shù)據(jù)——在這種情況下是大型語(yǔ)言模型——所學(xué)習(xí)的東西是對(duì)產(chǎn)生這些數(shù)據(jù)的現(xiàn)實(shí)世界過(guò)程的壓縮表示，這不僅意味著人和他們的思想,，他們的感受的一些內(nèi)容,，還有關(guān)于人所處的情況以及他們之間存在的相互作用的一些內(nèi)容。人可以處于不同的情境中,。所有這些都是由神經(jīng)網(wǎng)絡(luò)表示的被壓縮的過(guò)程的一部分,，用以產(chǎn)生文本。語(yǔ)言模型越好,，生成模型越好,，保真度越高，它就越能捕捉到這個(gè)過(guò)程,。

現(xiàn)在,，正如你所說(shuō)，這些教師隊(duì)伍實(shí)際上也在使用人工智能輔助工具,。這些教師并不是獨(dú)立行動(dòng)的,，他們正在使用我們的工具，而這些工具正在做著大部分的工作,。但是我們確實(shí)需要有監(jiān)督,，需要有人來(lái)審查這個(gè)過(guò)程,，因?yàn)樽罱K我們希望實(shí)現(xiàn)非常高的可靠性。

我們確實(shí)有很多動(dòng)力來(lái)使它盡可能高效,、精確,，這樣產(chǎn)生的語(yǔ)言模型就會(huì)盡可能的表現(xiàn)良好。

所以,，是的,，有這些人類教師在向模型教授它們的理想行為。而他們使用人工智能系統(tǒng)的方式不斷增加,，因此他們自己的效率也在不斷提高,。這和教育過(guò)程沒(méi)什么兩樣，那就是讓教育對(duì)象知道如何在這個(gè)世界上表現(xiàn)得好,。

我們需要進(jìn)行額外的訓(xùn)練,，以確保模型知道編造內(nèi)容永遠(yuǎn)都是不行的。而這種強(qiáng)化學(xué)習(xí)的人類教師或其他變體將教會(huì)它這些,。

這樣的做法應(yīng)該是有效的,。我們很快就會(huì)知道。

Craig S. Smith：

這些研究最終將通往何處,？它們是你最近在做的研究嗎,？

Ilya Sutskever：

我不能詳細(xì)講述我正在從事的具體研究，但我可以大致提及一些研究方向,。我非常關(guān)注如何讓這些模型更可靠,、更可控，讓它們能夠更快地從示例數(shù)據(jù)中學(xué)習(xí),，減少指導(dǎo),。以及如何讓它們不要產(chǎn)生幻覺(jué)。

Craig S. Smith：

我聽(tīng)說(shuō)你曾經(jīng)說(shuō)過(guò)我們需要更快的處理器才能進(jìn)一步擴(kuò)展,。似乎模型的擴(kuò)展沒(méi)有止境,，但訓(xùn)練這些模型所需的功率，我們已經(jīng)達(dá)到了極限,，至少是社會(huì)公認(rèn)的極限,。

Ilya Sutskever：

我不記得你所說(shuō)的我做過(guò)的確切評(píng)論是什么，但人們總是希望有更快的處理器,。當(dāng)然,，功率總是會(huì)不斷增加?？偟膩?lái)說(shuō),，成本也在上升。

但我關(guān)注的問(wèn)題不是成本是否很高,，而是我們?cè)谥Ц哆@筆成本時(shí)是否能得到超過(guò)成本的東西,。也許你支付了所有這些成本,，卻什么都沒(méi)有得到，那就不值得,。但是,，如果你得到了非常有用的、非常有價(jià)值的東西,，可以解決我們想要解決的許多問(wèn)題,，那么它的成本就可以是完全合理的。

Craig S. Smith：

有一次我看到你談到了民主以及AI對(duì)于民主的影響,。有人曾向我談?wù)撨^(guò)這樣一種情況,，即當(dāng)看似無(wú)法解決的沖突出現(xiàn)時(shí)，如果你有足夠的數(shù)據(jù)和一個(gè)足夠大的模型,，你可以用數(shù)據(jù)來(lái)訓(xùn)練模型,，從而得出一種最優(yōu)解，使所有人都能滿意,。你是否考慮過(guò)這種技術(shù)可能幫助人類管理社會(huì)的方向,？

Ilya Sutskever：

這是一個(gè)非常大的問(wèn)題，而且是一個(gè)更具未來(lái)性的問(wèn)題,。我認(rèn)為我們的模型仍有許多方面可以變得比現(xiàn)在更為強(qiáng)大。

政府未來(lái)是否會(huì)將這項(xiàng)技術(shù)當(dāng)作建議來(lái)源其實(shí)是不可預(yù)測(cè)的,。對(duì)于民主的問(wèn)題,，我認(rèn)為未來(lái)可能會(huì)發(fā)生的一件事是，由于神經(jīng)網(wǎng)絡(luò)將如此普及且對(duì)社會(huì)產(chǎn)生如此大的影響,，我們將發(fā)現(xiàn)有必要通過(guò)某種民主過(guò)程,，讓一個(gè)國(guó)家的公民提供一些關(guān)于他們希望社會(huì)變成什么樣的信息給神經(jīng)網(wǎng)絡(luò)。我可以想象這種情況的發(fā)生,。這可能是一種非常高帶寬的民主形式,，你可以從每個(gè)公民那里獲取更多的信息并進(jìn)行匯總，從而指定我們希望這種系統(tǒng)如何行動(dòng)?，F(xiàn)在這就引出了許多問(wèn)題,，但這是未來(lái)可能發(fā)生的一件事。

分析所有變量意味著什么,？最終你需要做出選擇,，而這些變量似乎變得非常重要。我想在這方面研究地更深入一些,。因?yàn)槲铱梢院芸斓刈x一百本書(shū),，也可以很慢很仔細(xì)地讀一本書(shū)，從中獲得更多收獲,。所以,，其中會(huì)有一些值得考量的元素,。此外，我認(rèn)為在某種意義上,，從根本上說(shuō),，要理解所有的事物可能是不可能的。讓我們來(lái)看一些更簡(jiǎn)單的例子,。

任何時(shí)候,，只要涉及到復(fù)雜的社會(huì)情境，例如在一家公司,，即使只是一家中等規(guī)模的公司,，它都已經(jīng)超出了任何單個(gè)人的理解能力。我認(rèn)為只要我們以正確的方式構(gòu)建我們的AI系統(tǒng),，AI幾乎任何情況下都會(huì)對(duì)人類有令人難以置信的幫助,。■

本文譯自https://www.forbes.com/sites/craigsmith/2023/03/15/gpt-4-creator-ilya-sutskever-on-ai-hallucinations-and-ai-democracy/?sh=18e30c701218,，本文作者為福布斯撰稿人,，文章內(nèi)容僅代表作者本人觀點(diǎn)。