原文來源：硅谷101

圖片來源：由無界 AI生成

連續(xù)五天的OpenAI管理層沖突及談判后，Sam Altman最終回歸OpenAI,。但皆大歡喜之際,，是時候聊聊這次事件的另外一邊聲音了：OpenAI技術(shù)靈魂人物Ilya Sutskeve對AI安全的恐懼和他對技術(shù)發(fā)展的信念。隨著AI技術(shù)快速發(fā)展,，硅谷兩大對立思潮分裂明顯：一派是擔(dān)心安全的有效利他主義（EA）,，另一派是支持技術(shù)無限加速的有效加速主義（E/ACC），隨著科技往前推進,，這兩種聲音需要被更好平衡和理解,。

01?“叛變者”Ilya Sutskever

美國時間周二晚，OpenAI董事會風(fēng)波又又又又發(fā)生了反轉(zhuǎn),，最終Sam Altman回歸OpenAI擔(dān)任CEO,，董事會全部重組，三名初步董事會成員包括Salesforce前聯(lián)合首席執(zhí)行官Bret Taylor, 美國前財政部部長Larry Summers, 以及Quora 創(chuàng)始人Adam D'Angelo留在了董事會,。

我相信,，這個鬧劇在之后幾天還會有更多的細節(jié)和消息流出，但目前來看，事態(tài)應(yīng)該不會再有大的反轉(zhuǎn)了（希望如此）,，在連續(xù)四天的各種反轉(zhuǎn)之后,，OpenAI，這家AI技術(shù)最重要的公司,，終于暫時穩(wěn)定了下來,。

但是，在這個各方皆大歡喜的時刻,，我們希望冷靜下來,，回顧一下這場“罷免風(fēng)波”中一個非常重要的聲音以及人物，就是這次風(fēng)口浪尖上的“叛變者”：OpenAI的首席科學(xué)家,、技術(shù)靈魂人物Ilya Sutskever,。

這期我們來回顧一下Ilya Sutskever的成長歷程，認識一下這位AI技術(shù)天才,，同時,，也從他近期的媒體采訪發(fā)言中了解一下他的思想，包括有效利他主義,、有效加速主義這些思想派別在硅谷科技領(lǐng)導(dǎo)者中間的博弈和沖突,，以及Ilya發(fā)起的“超級對齊”是什么意思，OpenAI將如何發(fā)展,，AI安全問題能如何解決。

02?成為OpenAI技術(shù)靈魂人物

1986年,，Ilya Sutskever出生在蘇聯(lián)時期的俄羅斯，一直到五歲,，全家搬去了以色列耶路撒冷，然后在以色列成長到大學(xué)時期,，前往加拿大的多倫多大學(xué)學(xué)習(xí)電腦科學(xué),。之后，繼續(xù)在多倫多大學(xué)進修研究生,，而他的導(dǎo)師,，正是“深度學(xué)習(xí)之父”Geoffrey Hinton。

2012 年 Hinton帶領(lǐng)Ilya Sutskever,，還有另外一名學(xué)生Alex Krizhevsky發(fā)表了深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet論文,，之后在ImageNet 圖像識別競賽上取得了轟動性成績。然后Hinton帶著Alex和Ilya創(chuàng)立了公司DNNResearch,被各個科技大廠競價瘋搶,，最后他們選擇了谷歌,。

這一段歷史在Genius Makers這本回溯ChatGPT誕生前十年硅谷巨頭如何布局AI的書里面有詳細提及，中文也有譯本叫《深度學(xué)習(xí)革命》,，大家感興趣可以去看看,。

之后,，就是Ilya Sutskever在谷歌的將近三年時間。直到2015年,，被馬斯克和Greg Brockman拉去跟Sam Altman還有一眾大佬們一起創(chuàng)立了OpenAI最初的非營利組織架構(gòu),。Ilya Sutskever從第一天開始，就是OpenAI技術(shù)的靈魂人物,。

最開始的時候,，OpenAI內(nèi)部可以說是各路神仙打架，因為最開始都是AI技術(shù)大牛,，但大牛們各自擅長和研究領(lǐng)域不一樣,，所以有點像無頭蒼蠅一樣各種嘗試，所以大家可以看到最開始OpenAI嘗試過AI機器人,，最開始訓(xùn)練AI打游戲,，但最開始幾年都被谷歌吊打,，直到2017年,，谷歌發(fā)表的Transformer架構(gòu)論文Attention is all you need引發(fā)業(yè)內(nèi)關(guān)注,，OpenAI內(nèi)部開始討論集中火力走大模型方向,，Ilya Sutskever支持了這個方向的發(fā)展，然后,，主導(dǎo)了GPT-1,，2，3,，4以及生成式畫圖DALLE系列模型的研發(fā),。但是到GPT-5的時候，他啟動了“叛變”,，將AI安全問題上升到輿論中心,。

03?AI安全擔(dān)憂與分裂

其實，AI大模型的安全問題不是第一次造成OpenAI內(nèi)部的分裂,。2020年底,，OpenAI的前核心員工Dario Amodei就帶著10名心腹離開OpenAI，包括他自己的親妹妹Daniela Amodei,，創(chuàng)辦了如今OpenAI最大的競爭對手Anthropic,。而Dario出走的最根本原因就是安全問題。

如今的生成式AI還是一個黑匣子，人們并不知道其中是如何運作的,，只知道堆參數(shù)堆算力的“大力出奇跡”的方式,，而擔(dān)心AI安全的這一波技術(shù)人員擔(dān)心，“知其然不知其所以然”的人工智能發(fā)展態(tài)度會帶來未知的風(fēng)險。

有一個經(jīng)典的AI案例是,，機器學(xué)習(xí)中有一個現(xiàn)象叫做Reward hacking激勵扭曲現(xiàn)象,。這部分的解釋我們在硅谷101之前的視頻《OpenAI黑手黨中》有詳細解釋過，我在這里再簡單解釋一下：

比如說,，我們給AI布置一個任務(wù),，讓它去通關(guān)吃豆子游戲。按人類設(shè)置的激勵假設(shè)是,，你游戲玩得更好,，通關(guān)得越快，被獎勵的分數(shù)就越高,。但AI研究人員發(fā)現(xiàn),，這個激勵假設(shè)很容易被AI所扭曲，AI會執(zhí)迷于獲得更高的分數(shù),，要么走完所有錯誤的路吃掉所有的豆子來獲得更高的分數(shù),，要么改掉游戲設(shè)置來作弊獲得更高的分數(shù),。?

但是AI卻從來不理解,，要把走出迷宮當(dāng)作真正的目標(biāo)。這就叫做Reward hacking,，激勵模型設(shè)計和AI真實做法之間有無法預(yù)測的不確定性,，而形成的激勵扭曲。而當(dāng)AI神經(jīng)網(wǎng)絡(luò)變得更強大而出現(xiàn)激勵扭曲時,，AI會更容易產(chǎn)生更想象不到的方式去作弊來得到激勵,。再舉一個更極端的例子，想象一下你和AI在下棋,，你給AI布置的任務(wù)是贏下棋局,，但除了跟你玩游戲獲勝之外，還有一種情況是,，AI認為把你消滅掉,，是贏下棋局更容易的方式，那… ,。很可怕對吧,？同時，生成式AI帶來的其它安全問題還有錯誤信息,，算法歧視問題,，AI的濫用問題等等。

這就是為什么,，很多AI從業(yè)人員呼吁減慢AI發(fā)展速度,，真正需要關(guān)注安全問題。

Dario Amodei采取的方式是一方面用小規(guī)模人工智能網(wǎng)絡(luò)的模型去真正搞清楚黑匣子問題,。我曾經(jīng)有機會當(dāng)面問Dario黑匣子問題什么時候能搞清楚,，他說需要2-3年的時間。另外一面,，Anthropic推出的ChatGPT競品Claude號稱基于“Constitutional人工智能”,， 用“有監(jiān)督學(xué)習(xí)”的方式，讓人工智能根據(jù)一套constitution中的原則來產(chǎn)生無害性偏好的數(shù)據(jù)集,。確實有業(yè)內(nèi)人士反饋說,，Claude感覺上是更安全可靠的，但我還是非常期待AI黑匣子能被完全解密的那一天,。

04?Ilya 的“超級對齊”

到了OpenAI這邊,，Ilya Sutskever在Dario Amodei叛逃的那一次并沒有跟著離開，而是留下來繼續(xù)研發(fā)了GPT3.5,，ChatGPT,，以及Dall-E系列,，之后GPT4和如今的GPT5。直到這次,，加入了董事會對Sam Altman的罷免,。

我其實不驚訝Ilya Sutskever最終對安全問題的反擊的，只是沒想到是這種決然的方式,。其實也是有跡可循,，在最近幾個月，Ilya Sutskever開始頻繁對媒體表示,，對AI安全的擔(dān)心,。

還記得我們開頭提到的，Ilya Sutskever是“深度學(xué)習(xí)之父”Geoffrey Hinton的學(xué)生,。Geoffrey Hinton今年早前從谷歌辭職,，就是為了能更好的對人工智能安全提出警告，并且號稱“對畢生工作感到后悔和恐懼”,。所以,，作為Hinton的學(xué)生，Ilya對AI的擔(dān)心很早就存在,。但與Dario Amodei對AI安全的解法不一樣,，Ilya的解法叫做“超級對齊”，Superalignment,。“AI對齊”的意思是,，要求AI系統(tǒng)的目標(biāo)要和人類的價值觀與利益相對齊。

有媒體報道說,，Ilya在有一次團隊在外團建的時候,，拿出了一根木質(zhì)雕像，來代表“不對齊”的人工智能,，然后把它點燃,，強烈表達他對不受控制的人工智能的不接受，以及倡導(dǎo)與人類價值觀和安全標(biāo)準(zhǔn)保持一致,。

所以在今年7月,，OpenAI 正式宣布成立一個新的研究團隊“超級對齊”Superalignment團隊，由Ilya和研究員Jan Leike共同領(lǐng)導(dǎo),，計劃未來4年投入20%算力，用AI監(jiān)督AI的方式,，解決超智能AI對齊問題,。

用AI來監(jiān)督 AI會是一種新的嘗試，我們現(xiàn)在也不知道是否能成功解決AI安全的問題,。但Ilya認為,，這是我們現(xiàn)在必須要做的,。

OpenAI的事態(tài)發(fā)展到現(xiàn)在，超出了Ilya的想象和控制,，他本人也在推特上表示,，自己后悔加入這次的董事會罷免中，不想傷害OpenAI,，并且他的名字出人意料地出現(xiàn)在了要求董事會集體辭職的員工請愿書上,。之后，董事會再度和Sam Altman談判,，最終Sam回到OpenAI,。

在一天之前，我們《硅谷101》播客的時候嘉賓說了一段話還挺觸動我的,，他說,，整個事件中，Ilya Sutskever肯定是挨罵最多的那個人,，Sam Altman肯定是在硅谷受支持最多的那個人,，這就是為什么我們要保護Ilya，這個對立面的聲音,，也許未來的很多年往回看,，我們會發(fā)現(xiàn)，Ilya的角色也許會相當(dāng)于《三體》中的執(zhí)劍人羅輯,。

陶芳波博士,，MindOS創(chuàng)始人

其實Ilya不是一個追求權(quán)利的人，也不是支持站隊或者思潮運動的人,，Ilya持有的觀點我覺得是跟他的老師比較像的,，但他最后的選擇比他的老師更勇敢一點，當(dāng)然也跟他更年輕有關(guān)系,。他覺得,，我也保守,，我也相信AI它最終可能會有很大的風(fēng)險，但我依然要在一個企業(yè)里面,，我依然要在組織里面，而不是只在外面提醒大家有這個風(fēng)險,，我依然要擔(dān)起這個責(zé)任去創(chuàng)建一門新的科學(xué),，這門科學(xué)叫做Alignment（對齊技術(shù)）,，來幫助未來的AI真的具有某種底層的編程的注入，來確保它們的安全性,，這是一個完全新的領(lǐng)域,，沒有OpenAI這群人之前，沒有人知道還有一門科學(xué)叫做“對齊科學(xué)”我們要去關(guān)注的,。所以他這種在行業(yè)中去推動進步的同時,，又有勇氣去考慮別人考慮不到的事情，并推動一個新的科學(xué)發(fā)展的這種精神,，我覺得是要被人了解到的,，而不只是認為他是一個保守主義者，甚至有人會覺得他是一個白蓮花,，我覺得這是對他的一個誤讀,。

05?EA vs. E/ACC

OpenAI在網(wǎng)頁上這樣寫到“鑒于我們現(xiàn)在所看到的情況，可以想象,，在未來十年內(nèi),，人工智能系統(tǒng)將超過大多數(shù)領(lǐng)域的專家技能水平，并進行與當(dāng)今最大的公司之一一樣多的生產(chǎn)活動,?！?所以，十年之后,，人類的社會架構(gòu)可能會發(fā)生重大改變,。在如此大變革來臨之際，我觀察到的硅谷是極度分裂的,，在這樣的分裂當(dāng)中,，出現(xiàn)了所謂“有效利他主義”和“有效加速主義”的兩大思維派系。

有效利他主義Effective Altruism,，簡稱EA,，目前是不少科技領(lǐng)袖和創(chuàng)業(yè)者們身上的標(biāo)簽，他們認為,，如果生活在數(shù)千英里外的人很重要,，那么生活在數(shù)千年之后的人們也同樣重要，也就是說,，我們必須要被以后的人類,，我們的后代來提前鋪墊。OpenAI董事會中的兩名女性董事,，曾經(jīng)或目前深度參與過EA的慈善基金或組織,，是非常明顯的EA，也可以理解為AI保守派,，希望重視AI安全,。其中媒體也報道說，Helen因為之前的一篇研究文章中指出OpenAI的安全問題而表揚了對手Anthropic而跟Sam Altman起過爭執(zhí),。

而另外一個思潮,，叫做“有效加速主義”，Effective Accelerationism,，簡稱e/acc,，你會在推特，linkedin上很多地方看到硅谷不少人將自己歸到這個派別中（Garry Tan/Marc Andreessen推特賬號）,，孵化器YC的掌門人Garry Tan甚至做了件e/acc的衣服穿著,，他們認為，技術(shù)與資本應(yīng)該聯(lián)合,，無條件實現(xiàn)加速技術(shù)創(chuàng)新,，并且快速推向市場來顛覆社會結(jié)構(gòu)。

這兩股技術(shù)信仰最近幾年一直在硅谷打架,，也不出意外,，發(fā)生在了OpenAI的身上。

但無論是EA還是E/ACC,，我相信,，每個派別里，都有很多人是真正愛人類的,，所以他們也希望,，AI也能夠愛人類。而這種愛的定義,，要很小心很謹慎很重要,。

所以你們是EA還是E/ACC呢？歡迎評論區(qū)告訴我們,。