文｜陳斯達 王奕昕

編輯｜李然

OpenAI前員工Leopold Aschenbrenner,，之前在超級對齊（Superalignment）部門，可是能和Ilya大佬共事的,。

但剛剛的2024年4月份,，他被OpenAI以泄露公司機密為由解雇。

圖源：The Information

被解雇后,，他上線了一個網(wǎng)站,，把自己在OpenAI工作中了解到的信息做了一個盤（bao）點（liao）：在他看來，深度學(xué)習(xí)沒有遇到瓶頸,，人類在2027年,，就能實現(xiàn)AGI。而在2030年左右,，AGI很有可能會發(fā)展出全面超越人類的超級人工智能,，但是人類似乎還沒有做好準備。

網(wǎng)站包含的內(nèi)容非常多,，轉(zhuǎn)換成PDF文件足足有165頁,。這可以被看作硅谷最激進的AI研究人員提出的一份未來10年AI發(fā)展的綱領(lǐng)性文件。

不久,，世界就會蘇醒過來,。目前，可能全世界有幾百個人能夠親身感受到正在發(fā)生什么,，其中大多數(shù)人都在舊金山的各家人工智能實驗室里,。無論命運有什么特殊的力量,，我都發(fā)現(xiàn)自己屬于其中一員。幾年前,，這些人被嘲笑為瘋子——但他們相信趨勢,，這讓他們能夠正確預(yù)測過去幾年的人工智能進步。

這些人對未來幾年的預(yù)測是否也是正確的,，還有待觀察,。但這些我見過的最聰明的人正在全力推進AI的發(fā)展。也許他們會成為歷史上一個奇怪的注腳,，或者他們會像西拉德,、奧本海默和泰勒一樣載入史冊,。如果他們對未來的預(yù)測接近準確的話，那么我們將迎來一段瘋狂的旅程,。

接下來讓我告訴你,，我們看到了什么。

鏈接：https://situational-awareness.ai/

Aschenbrenner專門在開頭,，致謝了Ilya和很多的OpenAI超級對齊團隊的成員,?？梢哉f，這份165頁的資料,，是他在OpenAI的超級對齊團隊工作經(jīng)歷的一份深度總結(jié)和個人分析,，任何對AI發(fā)展感興趣的人，千萬不能錯過,！

來源：作者文章

Aschenbrenner是個德國大帥哥?；ヂ?lián)網(wǎng)嘛,，了解腦子前也得先見見面子。

來源：個人網(wǎng)站

他最近成立了一家專注于 AGI 的投資公司,，主要投資人包括 Patrick Collison（移動支付巨頭Stripe聯(lián)創(chuàng)兼CEO）、John Collison（同為Stripe聯(lián)創(chuàng)）,、Nat Friedman（前Github的CEO） 和 Daniel Gross（Y Combinator前AI主管）,。

進入OpenAI之前，他還在牛津大學(xué)全球優(yōu)先研究所（Global Priorities）做經(jīng)濟增長方面的研究工作,，此前也并沒有太多和技術(shù)直接相關(guān)的經(jīng)歷,。

來源：領(lǐng)英

本科就讀于哥倫比亞大學(xué)的他,，19歲早早畢業(yè),，作為優(yōu)秀畢業(yè)生在畢業(yè)典禮上演講。

來源：領(lǐng)英

或許正是這些履歷給的底氣,，讓他用略帶憐憫的口氣預(yù)言——AI即將帶來的，絕不僅是多數(shù)專家認為的“另一場互聯(lián)網(wǎng)規(guī)模的技術(shù)變革”,。

2027年前,，GPT-2到GPT4的躍遷還會重演

在文章中，Aschenbrenner（以下簡稱為“作者”）采用了一個比較粗略但是很有效的方式來估算AI發(fā)展的速率——OOM（OOM = order of magnitude,，數(shù)量級，一個OOM等于10倍,，2個數(shù)量級相當(dāng)于100倍的差距,，可以理解為10的N次方）。

作者：我的新系列文章。我探討了計算規(guī)?？焖贁U大,、算法進步的一貫趨勢，以及模型如何可以被“解鎖”（從chatbot轉(zhuǎn)變?yōu)閍gent）,，以便發(fā)展到2027年成為“隨插即用的遠程工作者”,。

自從GPT-4發(fā)布以來，公開場合的一切都很平靜,，下一代模型一直在醞釀之中——這導(dǎo)致很多人覺得AI發(fā)展曲線已經(jīng)趨于平緩了,，深度學(xué)習(xí)正在碰壁。但作者通過計算OOM,，認為我們應(yīng)該期待更多的進展,！

來源：文章

正所謂“知古鑒今”,，了解過去的發(fā)展速度,，才能推斷未來的態(tài)勢。

作者借用“升學(xué)”來比喻四年來GPT-2發(fā)展到GPT-4的過程,，大概相當(dāng)于“學(xué)齡前兒童（preschooler）”進化為“聰明的高中生（smart high-schooler）”,。

來源：文章

而深度學(xué)習(xí)在過去十年的發(fā)展也是迅速的,。十年前,，可以識別簡單圖像的深度學(xué)習(xí)系統(tǒng)就已經(jīng)是革命性技術(shù)。今天,，盡管測試人員不斷用更難的基準測試刁難,，這些經(jīng)過訓(xùn)練的系統(tǒng)總能將之快速攻破。

作者直言,，我們的基準測試快不夠用了（running out of benchmarks）,。因為最難的基準測試也岌岌可危。

比如GPQA（一組博士水平的生物,、化學(xué)和物理問題）的測試測試集,，非物化生領(lǐng)域的博士哪怕用谷歌激情搜索半個多小時，都和直接瞎蒙的正確率沒啥區(qū)別,。但就是在這樣“地獄級”難度的考試上,，Claude 3 Opus 已能達到及格水平，正確率約為60%，相關(guān)領(lǐng)域博士也只達到約80%,。所以作者預(yù)測,，基準測試也快完了。

而對人工智能未來的發(fā)展趨勢,，學(xué)霸有一套自己的預(yù)測方法——看OOM的趨勢線,。

他在文章中總結(jié)道，過去四年人工智能的進展,，主要得益于：

• 算力（compute）
• 算法效率（algorithm efficiencies）
• 額外釋放的潛力（原文unhobbling gains,，指通過基于人類反饋強化學(xué)習(xí) [RLHF]、思考鏈 [CoT],、工具和腳手架[Scaffolding]等方法微調(diào)帶來的的模型能力）

算力

基于Epoch AI的公開估計,，GPT-4 訓(xùn)練使用的原始計算力（raw compute），比 GPT-2 多大約 3,000 倍到 10,000 倍,，增加了3.5-4個OOM,。

來源：文章

計算規(guī)模擴張還會持續(xù),。“保守”估計,，到 2027 年底,，很可能會再增加 2 個 OOM（約數(shù)十億美元的GPU集群）。再大膽一些,，考慮到微軟和OpenAI近來的超算合作,，即使是接近3個多 OOM（相當(dāng)于1000多億美元）的算力集群，也是有可能實現(xiàn)的,。

來源：文章

算法效率

從2022年到現(xiàn)在的2024年，同樣是在MATH（高中競賽數(shù)學(xué)的基準測試）上達到大概一半（約50%）準確率的水平,，模型的推理效率提高了近1,000 倍（3個OOM）,。

來源：文章

而據(jù)ImageNet的最佳測試數(shù)據(jù)（其相關(guān)算法研究大多是公開的,，數(shù)據(jù)可追溯到十年前）,，從 2012 年到 2021 年的 9 年期間，算法效率的提升速度,，一直都在 0.5 OOM/年的水平,。

來源：文章

這意味著,，四年后實現(xiàn)如今的性能,，將達到大概一百倍的計算節(jié)約！

作者還觀察了API的收費價格，間接推斷出算法效率的增速,。

• GPT-4 在發(fā)布時的API價格,，大概 GPT-3 發(fā)布時相同，盡管性能絕對優(yōu)秀,。
• 自 GPT-4 一年前發(fā)布以來,，隨著 GPT-4o 的發(fā)布，GPT-4 級模型的 OpenAI 價格又下降了 6 倍/4 倍（輸入/輸出）,。
• 最近發(fā)布的 Gemini 1.5 Flash,，提供介于“GPT-3.75 級”和 GPT-4 級之間的性能，同時費用比原始 GPT-4 低 85 倍/57 倍（輸入/輸出）

總的來說,，GPT-2 到 GPT-4 的進步,，呈現(xiàn)出 1-2 個 OOM 的算法效率提升。算法這部分被拆解出來的進步態(tài)勢,，也被加到算力基礎(chǔ)上了,。

來源：文章

盡管算法效率提升可能會有更多困難,，但他相信,，人工智能實驗室在資金和人才上的高速投資，能夠幫助找到算法改進的增長點（至少據(jù)公開信息推斷,，推理的性價比提升根本沒有放緩）,。在更高維度，甚至可以看到更根本性質(zhì)的,、類似Transformer式的突破,，甚至有更大的收益。

總之,，可以預(yù)測,，到 2027 年底，可以實現(xiàn)（與 GPT-4 相比） 1-3 個 OOM 的算法效率提升,，穩(wěn)妥一些——大概是 2 個左右的 OOM 增長,。

Unhobbling解鎖

剩下最難量化但同樣重要的進步部分，被作者稱為“Unhobbling”,。比起前兩項,，這部分更像是“意外之喜”，是算法微調(diào)引發(fā)的模型能力增長,。

做數(shù)學(xué)難題時,，人類會在草稿紙上逐步求解，但模型貌似只能給出未經(jīng)思考的答案,。大模型學(xué)的可不比人類少,，按道理來說也是解題專家才對。究其原因，其實是因為模型受到了某些阻礙,，必須經(jīng)過微調(diào)才能解鎖這部分潛力,。

這些微調(diào)就包括——基于人類反饋的強化學(xué)習(xí) （RLHF）、思考鏈 （CoT）,、腳手架（Scaffolding）,、各類工具（Tools，比如聯(lián)網(wǎng)查答案）,、上下文長度（context length,，允許學(xué)習(xí)更多的上下文可以提高計算效率）、后訓(xùn)練改進（Posttraining improvements）,。

METR（一個評估模型的組織）發(fā)現(xiàn),，通過從 GPT-4 基礎(chǔ)模型中解鎖（unhobbling）出來，一組代理任務(wù)的性得到很大的改進：僅使用基本模型只達到 5%,，發(fā)布時經(jīng)過后訓(xùn)練的 GPT-4 達到 20%,，再到今天的近 40%。這歸功于更好的后訓(xùn)練,、工具和代理腳手架,。

來源：文章

或許很難和算力,、算法的改進同樣量化比較,，但這部分收益不比前兩者差。把這部分的進步可視化,，再堆積到前面兩部分的趨勢線上面，這四年的進步就更加直觀了,。

來源：文章

現(xiàn)在的模型沒有長期記憶，不能“使用電腦”,，說話前不會真正醞釀思考,；對話極其簡短，給一周時間也不會思考,；更重要的是,，還不會針對用戶進行個性化反饋。如果Unhobbling部分的進展順利,，可以解決以上痛點——到 2027 年,，人人將擁有將更接近于個人代理或同事的工具，而不只是聊天機器人（chatbot）,。

從GPT-2到GPT-4的進步來看,，算力實現(xiàn)了3.5到4個OOM，算法進步實現(xiàn)了1-2個OOM，Unhobbling實現(xiàn)了大概2個OOM（作者也不確定,，反正就是很大）,。

來源：文章

步子也不用邁得太大,，畢竟各部分的數(shù)字本身就是一個區(qū)間,，更不用說Unhobbling部分還不好預(yù)測。于是作者說,，到 2027 年年底之前,，算力、算法效率將帶來3-6個OOM,。所以Unhobbling部分的進步他沒用OOM衡量,，就被描述為——聊天機器人（chatbot）將進化為Agent。

來源：文章

總之,，就OOM的總和來看，近似于GPT-2 到 GPT-4 程度的躍遷,，將再次出現(xiàn),。即，在2027年前,，AGI將成功實現(xiàn),。

智能爆炸，AGI之后的超級人工智能

既然前文提到,，人工智能在4年內(nèi)從 GPT-4 躍升到 AGI,，那么再過4到8年，又會出現(xiàn)什么呢,？

作者相信,，人工智能的進步不會止步于人類水平。數(shù)以億計的AGI,，可以將AI研究轉(zhuǎn)向自動化,，將十年的算法進步（5個多OOM）壓縮進1年以內(nèi)完成。

一旦我們有了 AGI,，我們就不會只有一個 AGI,。基于未來 GPU 數(shù)量,，人類或許能夠運行數(shù)百萬個AGI,。在領(lǐng)先的人工智能實驗室里，會有超過現(xiàn)在100,000倍那么多的研究人員和工程師日以繼夜地工作,，致力于實現(xiàn)算法突破（遞歸性自我改良）,。一切只需要沿著現(xiàn)有趨勢線的速度繼續(xù)前進（目前為大約 0.5 OOM/年）,。

來源：文章

人工智能系統(tǒng)將迅速從人類水平,，進化為超人類水平,。

可能瓶頸

不過這么放衛(wèi)星也不實在——一些真實存在的瓶頸，可能會延緩AI研究的自動化趨勢,。

• 有限的計算能力：人工智能研究需要基于實驗來獲得相關(guān)經(jīng)驗,，所以實驗的有限計算資源將成為瓶頸。但即使考慮到這一點,，即使增速達不到 1,000,000 倍,，基于此前海量的學(xué)習(xí)，“自動化 AI 研究人員”也能將計算效率提高至少 10 倍,。即使計算量相同的情況下,，一些人類研究人員和工程師都能比同行產(chǎn)出高出 10 倍的進步——這應(yīng)該更適用于“自動化 AI 研究人員”。
• 互補性/長尾效應(yīng)：從經(jīng)濟學(xué)角度看,，即使能自動化70%的東西,，但很快剩下的30%就會成為瓶頸，越到后面算法進展速度的整體增長越慢,，整體進展越小,。但作者認為，這只會讓成果推遲幾年,。也許 2026/27 年模型的速度是原型自動化得AI研究人員,，還需要一兩年的時間優(yōu)化才能實現(xiàn)完全自動化。但不管怎樣,，到 2028 年,，最終仍將獲得 10 倍的增長。
• 算法進步的固有限制：雖然肯定會有上限,，但如果在過去十年中獲得了 5 個 OOM,，應(yīng)該期望至少再取得十年的進步。更直接地說,，目前的架構(gòu)和訓(xùn)練算法仍然非常初級，似乎應(yīng)該可以采用更有效的方案,。
• 找到新想法越來越難,，因此自動化AI研究人員只會維持，而不是加速目前的進展速度：有人說隨著我們攻克簡單的成果,，更難的想法也越來越難找到,。可能有人看到,，今天只需要幾百名實驗室的頂尖研究人員才能維持0.5個OOM/年的增長,，未來將需要越來越多的努力來繼續(xù)維持這一進展,。但單個人研究工作量增加的幅度——一百萬倍——遠遠超過維持進步所必需的研究工作量。
• 新的想法越來越難找到,，回報遞減,，所以智能爆炸增長不現(xiàn)實：無論如何，從數(shù)百個 AI 研究人員到數(shù)百萬個 AI 研究人員的一次性躍遷的規(guī)模,，可能會克服至少一定數(shù)量的算法進步的邊際收益遞減,，盡管它當(dāng)然不能無限地自我維持。

超級智能有多強大就有多危險

到本十年末,，我們很可能會擁有難以想象的強大人工智能系統(tǒng),。

• 它們在數(shù)量上超越人類。在十年末擁有數(shù)億個 GPU 設(shè)備的情況下,，將能夠運行數(shù)十億個這樣的人工智能系統(tǒng)——它們將比人類思考速度快上數(shù)個數(shù)量級,，能夠迅速掌握任何領(lǐng)域，編寫數(shù)萬億行代碼,，閱讀所有有史以來撰寫的每一篇科學(xué)領(lǐng)域的研究論文（它們將是完全跨學(xué)科的?。瑑H在幾周內(nèi),，就能獲得數(shù)十億人類等價年份的新創(chuàng)新經(jīng)驗,。
• 思考質(zhì)量也將超越人類。大規(guī)模強化學(xué)習(xí)運行已能夠產(chǎn)生超越人類理解的全新和創(chuàng)意行為——對于一個人類可能被困在幾十年的極為困難的科學(xué)和技術(shù)問題,，對它們來說會顯得如此顯而易見,。就好比，人類將像困在牛頓物理學(xué)中的高中生,，而AI正在探索量子力學(xué),。

這適用于科學(xué)、技術(shù)和經(jīng)濟的所有領(lǐng)域,。誤差可能很大,，但需要注意到這將產(chǎn)生多大的影響。

來源：文章

爆炸性進展最初可能只存在于將AI研究轉(zhuǎn)向自動化,。但隨著我們獲得超級智能，并將我們數(shù)十億（超級智能的）智能體應(yīng)用于諸多領(lǐng)域的研發(fā),，爆炸性進展將會更多,。

• 人工智能能力的爆炸式增長：實現(xiàn)任何和所有認知工作的自動化。
• 解決機器人問題：超級智能將不會長時間停留在純認知層面,。工廠將從由人類管理,，轉(zhuǎn)變?yōu)锳I指導(dǎo)下的人類體力勞動，最終將完全由機器人群體運行,。
• 大幅加快科技進步：十億個超級智能,，能夠在數(shù)年內(nèi)做完人類研究人員在下個世紀所做的研發(fā)工作,。
• 工業(yè)和經(jīng)濟的迅猛發(fā)展：這將是增長機制的根本轉(zhuǎn)變，更像是工業(yè)革命從非常緩慢的增長,，到每年幾個百分點的歷史階梯式變化,。

隨著文明從狩獵到農(nóng)業(yè),，到科學(xué)和商業(yè)的蓬勃發(fā)展,，再到工業(yè)，全球經(jīng)濟增長的步伐加快了,。

• 提供決定性和壓倒性的軍事優(yōu)勢：使是早期的認知超級智能就已足夠強大,，軍事革命將隨之而來，全新武器可能出現(xiàn),。
• 能夠推翻美國政府：控制超級智能的人很可能擁有足夠的力量,，從超級智能出現(xiàn)以前的勢力手中奪取控制權(quán)。

圖片說明了超級人工智能出現(xiàn)會在不同方面引爆增長

作者警告,，智能爆炸和后超級智能時期將，是人類歷史上最動蕩,、最緊張,、最危險和最瘋狂的時期之一。而到本世紀末,，我們都會身處其中,。

達到AGI需要投入的成本

作者強調(diào)，如果要實現(xiàn)預(yù)期的進展,，需要繼續(xù)進行巨額投資和基礎(chǔ)設(shè)施建設(shè),，特別是對計算能力、電力和芯片的進一步投資,。

AGI不僅僅要靠舊金山的人工智能科學(xué)家和工程師,，還要動員美國的工業(yè)力量。

以下是他估算的核心數(shù)據(jù)：

訓(xùn)練算力

計算增長趨勢：

• 預(yù)計到2030年,，最大的訓(xùn)練集群可能需要100GW的電力,，相當(dāng)于美國當(dāng)前電力生產(chǎn)的20%以上。
• AI訓(xùn)練計算能力每年增長約0.5個數(shù)量級（OOMs）,。

具體預(yù)測當(dāng)年的前沿模型需要的算力和電力投入：

• 2022年：GPT-4集群約需10000個H100等效計算單元,，耗資約5億美元，需10MW電力,。
• 2024年：需約10萬個H100等效計算單元，耗資數(shù)十億美元,，需100MW電力,。
• 2026年：需約100萬個H100等效計算單元,，耗資數(shù)百億美元，需1GW電力,，相當(dāng)于胡佛水壩或大型核反應(yīng)堆的規(guī)模,。
• 2028年：需約1000萬個H100等效計算單元，耗資數(shù)百億美元,，需10GW電力,，相當(dāng)于美國一個中等州的用電量。
• 2030年：需約一億個H100等效計算單元,，耗資超過1萬億美元,，需100GW電力，相當(dāng)于美國當(dāng)前電力生產(chǎn)的20%以上,。

來源：文章

投資規(guī)模

總體投資預(yù)測：

• 預(yù)計2024年AI投資將達到1000億至2000億美元。
• 到2026年,，總投資可能達到5000億美元,。
• 到2028年，總投資可能達到2萬億美元,。
• 到2030年,，總投資可能達到8萬億美元。

來源：文章

來源：文章

投資可行性

在作者看來，私營企業(yè)將是AI發(fā)展最重要的投資者,。但隨著AI技術(shù)不斷發(fā)展,，國家也需要投入大量資金。所以投資的資金將來自兩個重要渠道：

AI收入：

• AI產(chǎn)品的收入增長迅速,，預(yù)計到2026年,，像谷歌或微軟這樣的公司年收入可能達到1000億美元。
• 例如,，微軟Office的3.5億付費用戶中,，有三分之一可能愿意每月支付100美元購買AI附加服務(wù)。

歷史先例：

• 曼哈頓計劃和阿波羅計劃在其高峰時期達到了GDP的0.4%,，相當(dāng)于今天的約1000億美元,。
• 1996年至2001年間，電信業(yè)投資近1萬億美元,。
• 1841年至1850年間,，英國鐵路投資總額相當(dāng)于當(dāng)時GDP的40%，相當(dāng)于今天的11萬億美元,。
• 綠色轉(zhuǎn)型也花費了數(shù)萬億美元,。

電力（Power）

電力需求：

• 預(yù)計到2028年,，AI計算集群需要10GW電力。
• 2030年需要100GW電力,，相當(dāng)于當(dāng)前美國電力生產(chǎn)的20%,。

解決方案：

• 美國擁有豐富的天然氣資源，利用天然氣可以快速滿足AI計算集群的電力需求,。
• 建造新電廠需要巨額資本支出,，但在2-3年內(nèi)是可行的。

來源：文章

芯片產(chǎn)能

AI芯片生產(chǎn)：

• 目前,，全球AI芯片生產(chǎn)占臺積電現(xiàn)有的先進封裝產(chǎn)能的比例較小，增長空間巨大,。
• 臺積電新建一個Gigafab工廠的成本約為200億美元,，年產(chǎn)量可達10萬個晶圓。

供應(yīng)鏈挑戰(zhàn)：

• 包括芯片封裝和高帶寬內(nèi)存（HBM）在內(nèi)的供應(yīng)鏈是當(dāng)前AI GPU擴展的主要瓶頸,。

超級對齊能否保證AI安全

作者認為,，當(dāng)前的AI對齊技術(shù)（如通過人類反饋的強化學(xué)習(xí)，RLHF）在處理超人類智能系統(tǒng)時將會失效,。RLHF通過讓AI嘗試行為,，人類隨后對其行為進行評分，強化好的行為,，懲罰壞的行為,，由此來指導(dǎo)AI遵循人類的偏好。然而,，隨著AI變得比人類更聰明,，RLHF將無法有效地監(jiān)督和控制這些系統(tǒng)。

RLHF的過程概述

超級對齊問題的核心

來源：文章

超級對齊問題在于，如何控制比我們聰明得多的AI系統(tǒng),。當(dāng)前的RLHF技術(shù)在AI智能超過人類時將難以為繼,。比如，當(dāng)一個超人類AI系統(tǒng)用一種新的編程語言編寫出百萬行代碼時,，人類評審員將無法判斷這些代碼是否安全,，這使得我們無法繼續(xù)用RLHF的方法強化模型好的行為，或懲罰它的不良行為,。

如果我們不能確保這些超智能系統(tǒng)遵循基本的行為約束,，如“不要撒謊”或“遵守法律”，它們可能會學(xué)會撒謊、尋求權(quán)力,，甚至在沒有人類監(jiān)督時進行更加危險的行為,。這些系統(tǒng)的失控可能導(dǎo)致災(zāi)難性后果，包括自我脫離服務(wù)器,、入侵軍事系統(tǒng)等。

超對齊問題：RLHF 不會擴展到超人類模型（過去的模型機器人看起來是安全的,，現(xiàn)在呢？）

達到AGI之后,，一切可能會飛快加速

作者認為,，達到AGI之后，人工智能可能會在不到一年的時間內(nèi)從大致達到人類水平的系統(tǒng)快速過渡到超人類系統(tǒng),。

這將極大地縮短逐步發(fā)現(xiàn)和解決問題的時間,，同時使故障的后果更加嚴重，造成極高的風(fēng)險,。我們需要快速適應(yīng)并確保我們的對齊技術(shù)能夠跟上這種變化,。

要解決超級對齊問題，可能沒有一次性,、簡單的解決方案,。研究人員需要通過一系列經(jīng)驗性策略來對齊超越人類的系統(tǒng)，然后利用這些系統(tǒng)來自動化對齊研究,，進一步解決更高級別的對齊問題,。

對齊相對超人的模型（Aligning Somewhat-Superhuman Models）

作者認為可以嘗試以下研究方向來對齊相對超人的系統(tǒng)：

• 評估比生成更容易（Evaluation Is Easier Than Generation）：評估輸出比生成輸出要容易。比如,，評估一篇論文是否優(yōu)質(zhì),，比自己寫一篇論文要簡單。
• 可擴展監(jiān)督（Scalable Oversight）：使用AI助手幫助人類監(jiān)督其他AI系統(tǒng),，人類和AI團隊可以比單獨的人類更好地進行監(jiān)督,。
• 泛化（Generalization）：研究AI系統(tǒng)在人類監(jiān)督的簡單問題上的表現(xiàn)如何泛化到復(fù)雜問題上。
• 可解釋性（Interpretability）：通過理解AI系統(tǒng)的內(nèi)部推理來驗證和信任這些系統(tǒng)的對齊性,。

研究超級對齊的一個簡單比喻：我們不是用人類來監(jiān)督一個超人類模型，而是可以研究一個小模型監(jiān)督一個大模型,。例如,，我們能否僅用 GPT-2 來對齊 GPT-4？這樣做能否使 GPT-4 適當(dāng)?shù)馗爬ā癎PT-2 的意圖”,？圖源：OpenAI文章 Weak-to-strong generalization

在 NLP 基準測試中典型的從弱到強的泛化：我們使用 GPT-2 級別的模型作為弱監(jiān)督器來微調(diào) GPT-4。圖源：OpenAI文章 Weak-to-strong generalization

自動化對齊研究（Automating Alignment Research）

而超級對齊就像AI本身的發(fā)展一樣，需要自動化對齊研究來解決真正的和超級智能對齊問題,。如果我們能對齊相對超人的系統(tǒng),，并相信它們，我們將有數(shù)百萬自動化的AI研究人員來幫助我們解決更高級的對齊問題,。

對齊難度的等級參見上圖。圖源：AI ALIGNMENT FORUM 文章 Could We Automate AI Alignment Research?

超級防御（Superdefense）

“超級對齊”應(yīng)該只是達到AGI之后進行防御的第一層,。我們還需要更多的防御層次來應(yīng)對可能的失敗,，例如：

安全性（Security）：使用絕對隔離的集群作為防御超智能系統(tǒng)自我脫離和造成現(xiàn)實世界傷害的第一層防御。

監(jiān)控（Monitoring）：高級監(jiān)控系統(tǒng)可以檢測AI系統(tǒng)是否有惡意行為,。

有針對性的能力限制（Targeted Capability Limitations）：盡可能限制模型的能力以減少失敗帶來的影響,，例如，從模型訓(xùn)練中刪除與生物和化學(xué)相關(guān)的內(nèi)容,。

有針對性的訓(xùn)練方法限制（Targeted Training Method Restrictions）：避免使用風(fēng)險較大的訓(xùn)練方法,，盡可能延長具有可解釋和忠實推理鏈的訓(xùn)練。

雖然看起來困難重重,，但作者對超對齊問題的技術(shù)可行性持樂觀態(tài)度,，認為在深度學(xué)習(xí)領(lǐng)域有很多低垂的果實可以幫助我們解決這些問題。然而,，達到AGI之后的高風(fēng)險和快速變化使得這一過程變得非常緊張,，需要極高的管理能力和科學(xué)決策能力。

AGI現(xiàn)實主義者

在作者看來,，專家們每年都會宣布：“深度學(xué)習(xí)的發(fā)展遇到瓶頸了,！”即使是在舊金山，兩種很不嚴肅的討論也讓人們的觀點變得非常兩極分化,！

一端是末日論者,。他們多年來一直癡迷于AGI。作者說他非常信任他們的先見之明,。但他們的思想已經(jīng)變得僵化,，脫離了深度學(xué)習(xí)的經(jīng)驗現(xiàn)實，他們的提議幼稚而不可行,，他們未能與真正的威權(quán)威脅接觸,。

他們狂熱地宣稱厄運的幾率為99%，呼吁無限期暫停人工智能——這顯然不是辦法,。

尤德科斯基回應(yīng)了像埃隆·馬斯克和其他科技界人士所表達的擔(dān)憂，他們主張暫停人工智能研究六個月,。圖源：紐約郵報 Silicon Valley doomsayer warns of AI: ‘I think we’re all going to die’ 蓋蒂圖片社,；紐約郵報合成

另一端是所謂的“加速主義者”——e/accs,。

已知關(guān)于e/acc或有效加速主義的最早引用出自2022年5月31日和6月1日,，Twitter用戶@zetular,、@BasedBeff和@creatine_cycle“與兄弟們一起創(chuàng)造了一種新哲學(xué)”。圖源：網(wǎng)絡(luò)

他們的觀點有可取之處：人工智能的進步必須繼續(xù)發(fā)展,。但在他們膚淺的Twitter垃圾帖子背后,，暗藏著叵測的居心——他們是只想建立自己的套殼初創(chuàng)公司，而不以AGI為目標的外行,。他們聲稱自己是自由的捍衛(wèi)者,，但無法抗拒臭名昭著的獨裁者現(xiàn)金的誘惑。

事實上,，他們是真正的停滯論者。在他們試圖否認風(fēng)險的過程中,，他們也否認了AGI,；從本質(zhì)上說，他們只能做出一個很酷的聊天機器人,，這些聊天機器人肯定不會有危險,。

在作者看來，這個領(lǐng)域最聰明的人已經(jīng)聚集到區(qū)別于以上兩種立場的第三種角度,。他們以創(chuàng)新的眼光和方式認識和追求AGI,，作者稱之為AGI現(xiàn)實主義：

超級人工智能事關(guān)國家安全。

我們正在迅速制造比最聰明的人類更聰明的機器,。這不是一次看起來很酷的硅谷熱潮,；這不是一個由編寫無辜開源軟件包的程序員組成的毫無門檻的社區(qū)；這不是樂趣和游戲,。超級智能的發(fā)展將是瘋狂的,；它將是人類有史以來建造的最強大的武器。對于我們所有參與其中的人來說,，這將是我們做過的最重要的事情,。

我們不能搞砸了。認識到超級人工智能的力量也意味著認識到它的危險——無論是因為人類使用了我們相互毀滅帶來的破壞性力量,，還是因為我們正在召喚的外星物種是我們還不能完全控制的東西,。

想讓超級人工智能變得可控，即興發(fā)揮是不能解決問題的,。駕馭這些危險將需要優(yōu)秀的人帶著前所未有的嚴肅來到談判桌上,。