原文來源：硅谷101

圖片來源：由無界 AI生成

連續(xù)五天的OpenAI管理層沖突及談判后,，Sam Altman最終回歸OpenAI。但皆大歡喜之際,，是時(shí)候聊聊這次事件的另外一邊聲音了：OpenAI技術(shù)靈魂人物Ilya Sutskeve對(duì)AI安全的恐懼和他對(duì)技術(shù)發(fā)展的信念。隨著AI技術(shù)快速發(fā)展,，硅谷兩大對(duì)立思潮分裂明顯：一派是擔(dān)心安全的有效利他主義（EA），另一派是支持技術(shù)無限加速的有效加速主義（E/ACC）,，隨著科技往前推進(jìn),，這兩種聲音需要被更好平衡和理解。

01?“叛變者”Ilya Sutskever

美國(guó)時(shí)間周二晚,，OpenAI董事會(huì)風(fēng)波又又又又發(fā)生了反轉(zhuǎn),，最終Sam Altman回歸OpenAI擔(dān)任CEO，董事會(huì)全部重組,，三名初步董事會(huì)成員包括Salesforce前聯(lián)合首席執(zhí)行官Bret Taylor, 美國(guó)前財(cái)政部部長(zhǎng)Larry Summers, 以及Quora 創(chuàng)始人Adam D'Angelo留在了董事會(huì),。

我相信，這個(gè)鬧劇在之后幾天還會(huì)有更多的細(xì)節(jié)和消息流出,，但目前來看,，事態(tài)應(yīng)該不會(huì)再有大的反轉(zhuǎn)了（希望如此），在連續(xù)四天的各種反轉(zhuǎn)之后,，OpenAI,，這家AI技術(shù)最重要的公司，終于暫時(shí)穩(wěn)定了下來,。

但是,，在這個(gè)各方皆大歡喜的時(shí)刻，我們希望冷靜下來,，回顧一下這場(chǎng)“罷免風(fēng)波”中一個(gè)非常重要的聲音以及人物,，就是這次風(fēng)口浪尖上的“叛變者”：OpenAI的首席科學(xué)家、技術(shù)靈魂人物Ilya Sutskever,。

這期我們來回顧一下Ilya Sutskever的成長(zhǎng)歷程,，認(rèn)識(shí)一下這位AI技術(shù)天才，同時(shí),，也從他近期的媒體采訪發(fā)言中了解一下他的思想,，包括有效利他主義、有效加速主義這些思想派別在硅谷科技領(lǐng)導(dǎo)者中間的博弈和沖突,，以及Ilya發(fā)起的“超級(jí)對(duì)齊”是什么意思,，OpenAI將如何發(fā)展，AI安全問題能如何解決,。

02?成為OpenAI技術(shù)靈魂人物

1986年,，Ilya Sutskever出生在蘇聯(lián)時(shí)期的俄羅斯，一直到五歲,，全家搬去了以色列耶路撒冷,，然后在以色列成長(zhǎng)到大學(xué)時(shí)期，前往加拿大的多倫多大學(xué)學(xué)習(xí)電腦科學(xué),。之后,，繼續(xù)在多倫多大學(xué)進(jìn)修研究生,，而他的導(dǎo)師，正是“深度學(xué)習(xí)之父”Geoffrey Hinton,。

2012 年 Hinton帶領(lǐng)Ilya Sutskever,，還有另外一名學(xué)生Alex Krizhevsky發(fā)表了深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet論文，之后在ImageNet 圖像識(shí)別競(jìng)賽上取得了轟動(dòng)性成績(jī),。然后Hinton帶著Alex和Ilya創(chuàng)立了公司DNNResearch,被各個(gè)科技大廠競(jìng)價(jià)瘋搶,，最后他們選擇了谷歌。

這一段歷史在Genius Makers這本回溯ChatGPT誕生前十年硅谷巨頭如何布局AI的書里面有詳細(xì)提及,，中文也有譯本叫《深度學(xué)習(xí)革命》,，大家感興趣可以去看看。

之后,，就是Ilya Sutskever在谷歌的將近三年時(shí)間,。直到2015年，被馬斯克和Greg Brockman拉去跟Sam Altman還有一眾大佬們一起創(chuàng)立了OpenAI最初的非營(yíng)利組織架構(gòu),。Ilya Sutskever從第一天開始,，就是OpenAI技術(shù)的靈魂人物。

最開始的時(shí)候,，OpenAI內(nèi)部可以說是各路神仙打架,，因?yàn)樽铋_始都是AI技術(shù)大牛，但大牛們各自擅長(zhǎng)和研究領(lǐng)域不一樣,，所以有點(diǎn)像無頭蒼蠅一樣各種嘗試,，所以大家可以看到最開始OpenAI嘗試過AI機(jī)器人，最開始訓(xùn)練AI打游戲,，但最開始幾年都被谷歌吊打,，直到2017年，谷歌發(fā)表的Transformer架構(gòu)論文Attention is all you need引發(fā)業(yè)內(nèi)關(guān)注,，OpenAI內(nèi)部開始討論集中火力走大模型方向,，Ilya Sutskever支持了這個(gè)方向的發(fā)展，然后,，主導(dǎo)了GPT-1,，2，3,，4以及生成式畫圖DALLE系列模型的研發(fā),。但是到GPT-5的時(shí)候，他啟動(dòng)了“叛變”,，將AI安全問題上升到輿論中心,。

03?AI安全擔(dān)憂與分裂

其實(shí)，AI大模型的安全問題不是第一次造成OpenAI內(nèi)部的分裂。2020年底,，OpenAI的前核心員工Dario Amodei就帶著10名心腹離開OpenAI，包括他自己的親妹妹Daniela Amodei,，創(chuàng)辦了如今OpenAI最大的競(jìng)爭(zhēng)對(duì)手Anthropic,。而Dario出走的最根本原因就是安全問題。

如今的生成式AI還是一個(gè)黑匣子,，人們并不知道其中是如何運(yùn)作的,，只知道堆參數(shù)堆算力的“大力出奇跡”的方式，而擔(dān)心AI安全的這一波技術(shù)人員擔(dān)心,，“知其然不知其所以然”的人工智能發(fā)展態(tài)度會(huì)帶來未知的風(fēng)險(xiǎn),。

有一個(gè)經(jīng)典的AI案例是,，機(jī)器學(xué)習(xí)中有一個(gè)現(xiàn)象叫做Reward hacking激勵(lì)扭曲現(xiàn)象。這部分的解釋我們?cè)诠韫?01之前的視頻《OpenAI黑手黨中》有詳細(xì)解釋過,，我在這里再簡(jiǎn)單解釋一下：

比如說,，我們給AI布置一個(gè)任務(wù)，讓它去通關(guān)吃豆子游戲,。按人類設(shè)置的激勵(lì)假設(shè)是,，你游戲玩得更好，通關(guān)得越快,，被獎(jiǎng)勵(lì)的分?jǐn)?shù)就越高,。但AI研究人員發(fā)現(xiàn)，這個(gè)激勵(lì)假設(shè)很容易被AI所扭曲,，AI會(huì)執(zhí)迷于獲得更高的分?jǐn)?shù),，要么走完所有錯(cuò)誤的路吃掉所有的豆子來獲得更高的分?jǐn)?shù)，要么改掉游戲設(shè)置來作弊獲得更高的分?jǐn)?shù)。?

但是AI卻從來不理解,，要把走出迷宮當(dāng)作真正的目標(biāo),。這就叫做Reward hacking，激勵(lì)模型設(shè)計(jì)和AI真實(shí)做法之間有無法預(yù)測(cè)的不確定性,，而形成的激勵(lì)扭曲,。而當(dāng)AI神經(jīng)網(wǎng)絡(luò)變得更強(qiáng)大而出現(xiàn)激勵(lì)扭曲時(shí)，AI會(huì)更容易產(chǎn)生更想象不到的方式去作弊來得到激勵(lì),。再舉一個(gè)更極端的例子,，想象一下你和AI在下棋，你給AI布置的任務(wù)是贏下棋局,，但除了跟你玩游戲獲勝之外,，還有一種情況是，AI認(rèn)為把你消滅掉,，是贏下棋局更容易的方式,，那… 。很可怕對(duì)吧,？同時(shí),，生成式AI帶來的其它安全問題還有錯(cuò)誤信息，算法歧視問題,，AI的濫用問題等等,。

這就是為什么，很多AI從業(yè)人員呼吁減慢AI發(fā)展速度,，真正需要關(guān)注安全問題,。

Dario Amodei采取的方式是一方面用小規(guī)模人工智能網(wǎng)絡(luò)的模型去真正搞清楚黑匣子問題。我曾經(jīng)有機(jī)會(huì)當(dāng)面問Dario黑匣子問題什么時(shí)候能搞清楚,，他說需要2-3年的時(shí)間,。另外一面，Anthropic推出的ChatGPT競(jìng)品Claude號(hào)稱基于“Constitutional人工智能”,， 用“有監(jiān)督學(xué)習(xí)”的方式,，讓人工智能根據(jù)一套constitution中的原則來產(chǎn)生無害性偏好的數(shù)據(jù)集。確實(shí)有業(yè)內(nèi)人士反饋說,，Claude感覺上是更安全可靠的,，但我還是非常期待AI黑匣子能被完全解密的那一天。

04?Ilya 的“超級(jí)對(duì)齊”

到了OpenAI這邊,，Ilya Sutskever在Dario Amodei叛逃的那一次并沒有跟著離開,，而是留下來繼續(xù)研發(fā)了GPT3.5，ChatGPT,，以及Dall-E系列,，之后GPT4和如今的GPT5,。直到這次，加入了董事會(huì)對(duì)Sam Altman的罷免,。

我其實(shí)不驚訝I(yíng)lya Sutskever最終對(duì)安全問題的反擊的,，只是沒想到是這種決然的方式。其實(shí)也是有跡可循,，在最近幾個(gè)月,，Ilya Sutskever開始頻繁對(duì)媒體表示，對(duì)AI安全的擔(dān)心,。

還記得我們開頭提到的，Ilya Sutskever是“深度學(xué)習(xí)之父”Geoffrey Hinton的學(xué)生,。Geoffrey Hinton今年早前從谷歌辭職,，就是為了能更好的對(duì)人工智能安全提出警告，并且號(hào)稱“對(duì)畢生工作感到后悔和恐懼”,。所以,，作為Hinton的學(xué)生，Ilya對(duì)AI的擔(dān)心很早就存在,。但與Dario Amodei對(duì)AI安全的解法不一樣,，Ilya的解法叫做“超級(jí)對(duì)齊”，Superalignment,。“AI對(duì)齊”的意思是,，要求AI系統(tǒng)的目標(biāo)要和人類的價(jià)值觀與利益相對(duì)齊。

有媒體報(bào)道說,，Ilya在有一次團(tuán)隊(duì)在外團(tuán)建的時(shí)候,，拿出了一根木質(zhì)雕像，來代表“不對(duì)齊”的人工智能,，然后把它點(diǎn)燃,，強(qiáng)烈表達(dá)他對(duì)不受控制的人工智能的不接受，以及倡導(dǎo)與人類價(jià)值觀和安全標(biāo)準(zhǔn)保持一致,。

所以在今年7月,，OpenAI 正式宣布成立一個(gè)新的研究團(tuán)隊(duì)“超級(jí)對(duì)齊”Superalignment團(tuán)隊(duì)，由Ilya和研究員Jan Leike共同領(lǐng)導(dǎo),，計(jì)劃未來4年投入20%算力,，用AI監(jiān)督AI的方式，解決超智能AI對(duì)齊問題,。

用AI來監(jiān)督 AI會(huì)是一種新的嘗試,，我們現(xiàn)在也不知道是否能成功解決AI安全的問題。但I(xiàn)lya認(rèn)為,，這是我們現(xiàn)在必須要做的,。

OpenAI的事態(tài)發(fā)展到現(xiàn)在，超出了Ilya的想象和控制，他本人也在推特上表示,，自己后悔加入這次的董事會(huì)罷免中,，不想傷害OpenAI，并且他的名字出人意料地出現(xiàn)在了要求董事會(huì)集體辭職的員工請(qǐng)?jiān)笗?。之后,，董事?huì)再度和Sam Altman談判，最終Sam回到OpenAI,。

在一天之前,，我們《硅谷101》播客的時(shí)候嘉賓說了一段話還挺觸動(dòng)我的，他說,，整個(gè)事件中,，Ilya Sutskever肯定是挨罵最多的那個(gè)人，Sam Altman肯定是在硅谷受支持最多的那個(gè)人,，這就是為什么我們要保護(hù)Ilya,，這個(gè)對(duì)立面的聲音，也許未來的很多年往回看,，我們會(huì)發(fā)現(xiàn),，Ilya的角色也許會(huì)相當(dāng)于《三體》中的執(zhí)劍人羅輯。

陶芳波博士,，MindOS創(chuàng)始人

其實(shí)Ilya不是一個(gè)追求權(quán)利的人,，也不是支持站隊(duì)或者思潮運(yùn)動(dòng)的人，Ilya持有的觀點(diǎn)我覺得是跟他的老師比較像的,，但他最后的選擇比他的老師更勇敢一點(diǎn),，當(dāng)然也跟他更年輕有關(guān)系。他覺得,，我也保守,，我也相信AI它最終可能會(huì)有很大的風(fēng)險(xiǎn)，但我依然要在一個(gè)企業(yè)里面,，我依然要在組織里面,，而不是只在外面提醒大家有這個(gè)風(fēng)險(xiǎn)，我依然要擔(dān)起這個(gè)責(zé)任去創(chuàng)建一門新的科學(xué),，這門科學(xué)叫做Alignment（對(duì)齊技術(shù)）,，來幫助未來的AI真的具有某種底層的編程的注入，來確保它們的安全性,，這是一個(gè)完全新的領(lǐng)域,，沒有OpenAI這群人之前，沒有人知道還有一門科學(xué)叫做“對(duì)齊科學(xué)”我們要去關(guān)注的,。所以他這種在行業(yè)中去推動(dòng)進(jìn)步的同時(shí),，又有勇氣去考慮別人考慮不到的事情,，并推動(dòng)一個(gè)新的科學(xué)發(fā)展的這種精神，我覺得是要被人了解到的,，而不只是認(rèn)為他是一個(gè)保守主義者,，甚至有人會(huì)覺得他是一個(gè)白蓮花，我覺得這是對(duì)他的一個(gè)誤讀,。

05?EA vs. E/ACC

OpenAI在網(wǎng)頁(yè)上這樣寫到“鑒于我們現(xiàn)在所看到的情況,，可以想象，在未來十年內(nèi),，人工智能系統(tǒng)將超過大多數(shù)領(lǐng)域的專家技能水平,，并進(jìn)行與當(dāng)今最大的公司之一一樣多的生產(chǎn)活動(dòng)?！?所以,，十年之后，人類的社會(huì)架構(gòu)可能會(huì)發(fā)生重大改變,。在如此大變革來臨之際，我觀察到的硅谷是極度分裂的,，在這樣的分裂當(dāng)中,，出現(xiàn)了所謂“有效利他主義”和“有效加速主義”的兩大思維派系。

有效利他主義Effective Altruism,，簡(jiǎn)稱EA,，目前是不少科技領(lǐng)袖和創(chuàng)業(yè)者們身上的標(biāo)簽，他們認(rèn)為,，如果生活在數(shù)千英里外的人很重要,，那么生活在數(shù)千年之后的人們也同樣重要，也就是說,，我們必須要被以后的人類,，我們的后代來提前鋪墊。OpenAI董事會(huì)中的兩名女性董事,，曾經(jīng)或目前深度參與過EA的慈善基金或組織,，是非常明顯的EA，也可以理解為AI保守派,，希望重視AI安全,。其中媒體也報(bào)道說，Helen因?yàn)橹暗囊黄芯课恼轮兄赋鯫penAI的安全問題而表?yè)P(yáng)了對(duì)手Anthropic而跟Sam Altman起過爭(zhēng)執(zhí),。

而另外一個(gè)思潮,，叫做“有效加速主義”，Effective Accelerationism,，簡(jiǎn)稱e/acc,，你會(huì)在推特,，linkedin上很多地方看到硅谷不少人將自己歸到這個(gè)派別中（Garry Tan/Marc Andreessen推特賬號(hào)），孵化器YC的掌門人Garry Tan甚至做了件e/acc的衣服穿著,，他們認(rèn)為,，技術(shù)與資本應(yīng)該聯(lián)合，無條件實(shí)現(xiàn)加速技術(shù)創(chuàng)新,，并且快速推向市場(chǎng)來顛覆社會(huì)結(jié)構(gòu),。

這兩股技術(shù)信仰最近幾年一直在硅谷打架，也不出意外,，發(fā)生在了OpenAI的身上,。

但無論是EA還是E/ACC，我相信,，每個(gè)派別里,，都有很多人是真正愛人類的，所以他們也希望,，AI也能夠愛人類,。而這種愛的定義，要很小心很謹(jǐn)慎很重要,。

所以你們是EA還是E/ACC呢,？歡迎評(píng)論區(qū)告訴我們。