文｜陳斯達(dá) 王奕昕

編輯｜李然

OpenAI前員工Leopold Aschenbrenner，之前在超級(jí)對(duì)齊（Superalignment）部門,，可是能和Ilya大佬共事的,。

但剛剛的2024年4月份，他被OpenAI以泄露公司機(jī)密為由解雇,。

圖源：The Information

被解雇后，他上線了一個(gè)網(wǎng)站,，把自己在OpenAI工作中了解到的信息做了一個(gè)盤（bao）點(diǎn)（liao）：在他看來,，深度學(xué)習(xí)沒有遇到瓶頸，人類在2027年,，就能實(shí)現(xiàn)AGI,。而在2030年左右，AGI很有可能會(huì)發(fā)展出全面超越人類的超級(jí)人工智能,，但是人類似乎還沒有做好準(zhǔn)備,。

網(wǎng)站包含的內(nèi)容非常多，轉(zhuǎn)換成PDF文件足足有165頁,。這可以被看作硅谷最激進(jìn)的AI研究人員提出的一份未來10年AI發(fā)展的綱領(lǐng)性文件,。

不久，世界就會(huì)蘇醒過來,。目前,，可能全世界有幾百個(gè)人能夠親身感受到正在發(fā)生什么，其中大多數(shù)人都在舊金山的各家人工智能實(shí)驗(yàn)室里,。無論命運(yùn)有什么特殊的力量，我都發(fā)現(xiàn)自己屬于其中一員,。幾年前,，這些人被嘲笑為瘋子——但他們相信趨勢，這讓他們能夠正確預(yù)測過去幾年的人工智能進(jìn)步,。

這些人對(duì)未來幾年的預(yù)測是否也是正確的,，還有待觀察。但這些我見過的最聰明的人正在全力推進(jìn)AI的發(fā)展,。也許他們會(huì)成為歷史上一個(gè)奇怪的注腳,，或者他們會(huì)像西拉德、奧本海默和泰勒一樣載入史冊(cè),。如果他們對(duì)未來的預(yù)測接近準(zhǔn)確的話,，那么我們將迎來一段瘋狂的旅程。

接下來讓我告訴你,，我們看到了什么,。

鏈接：https://situational-awareness.ai/

Aschenbrenner專門在開頭,，致謝了Ilya和很多的OpenAI超級(jí)對(duì)齊團(tuán)隊(duì)的成員,。可以說,，這份165頁的資料,，是他在OpenAI的超級(jí)對(duì)齊團(tuán)隊(duì)工作經(jīng)歷的一份深度總結(jié)和個(gè)人分析，任何對(duì)AI發(fā)展感興趣的人,，千萬不能錯(cuò)過,！

來源：作者文章

Aschenbrenner是個(gè)德國大帥哥,?；ヂ?lián)網(wǎng)嘛，了解腦子前也得先見見面子,。

來源：個(gè)人網(wǎng)站

他最近成立了一家專注于 AGI 的投資公司，主要投資人包括 Patrick Collison（移動(dòng)支付巨頭Stripe聯(lián)創(chuàng)兼CEO）,、John Collison（同為Stripe聯(lián)創(chuàng)）,、Nat Friedman（前Github的CEO） 和 Daniel Gross（Y Combinator前AI主管）。

進(jìn)入OpenAI之前,，他還在牛津大學(xué)全球優(yōu)先研究所（Global Priorities）做經(jīng)濟(jì)增長方面的研究工作,，此前也并沒有太多和技術(shù)直接相關(guān)的經(jīng)歷。

來源：領(lǐng)英

本科就讀于哥倫比亞大學(xué)的他,，19歲早早畢業(yè),，作為優(yōu)秀畢業(yè)生在畢業(yè)典禮上演講。

來源：領(lǐng)英

或許正是這些履歷給的底氣,，讓他用略帶憐憫的口氣預(yù)言——AI即將帶來的,，絕不僅是多數(shù)專家認(rèn)為的“另一場互聯(lián)網(wǎng)規(guī)模的技術(shù)變革”,。

2027年前，GPT-2到GPT4的躍遷還會(huì)重演

在文章中,，Aschenbrenner（以下簡稱為“作者”）采用了一個(gè)比較粗略但是很有效的方式來估算AI發(fā)展的速率——OOM（OOM = order of magnitude,，數(shù)量級(jí)，一個(gè)OOM等于10倍,，2個(gè)數(shù)量級(jí)相當(dāng)于100倍的差距,，可以理解為10的N次方）。

作者：我的新系列文章,。我探討了計(jì)算規(guī)模快速擴(kuò)大,、算法進(jìn)步的一貫趨勢,，以及模型如何可以被“解鎖”（從chatbot轉(zhuǎn)變?yōu)閍gent），以便發(fā)展到2027年成為“隨插即用的遠(yuǎn)程工作者”,。

自從GPT-4發(fā)布以來,，公開場合的一切都很平靜，下一代模型一直在醞釀之中——這導(dǎo)致很多人覺得AI發(fā)展曲線已經(jīng)趨于平緩了,，深度學(xué)習(xí)正在碰壁,。但作者通過計(jì)算OOM，認(rèn)為我們應(yīng)該期待更多的進(jìn)展,！

來源：文章

正所謂“知古鑒今”，了解過去的發(fā)展速度,，才能推斷未來的態(tài)勢,。

作者借用“升學(xué)”來比喻四年來GPT-2發(fā)展到GPT-4的過程，大概相當(dāng)于“學(xué)齡前兒童（preschooler）”進(jìn)化為“聰明的高中生（smart high-schooler）”,。

來源：文章

而深度學(xué)習(xí)在過去十年的發(fā)展也是迅速的。十年前,，可以識(shí)別簡單圖像的深度學(xué)習(xí)系統(tǒng)就已經(jīng)是革命性技術(shù),。今天，盡管測試人員不斷用更難的基準(zhǔn)測試刁難,，這些經(jīng)過訓(xùn)練的系統(tǒng)總能將之快速攻破,。

作者直言,，我們的基準(zhǔn)測試快不夠用了（running out of benchmarks）。因?yàn)樽铍y的基準(zhǔn)測試也岌岌可危,。

比如GPQA（一組博士水平的生物,、化學(xué)和物理問題）的測試測試集，非物化生領(lǐng)域的博士哪怕用谷歌激情搜索半個(gè)多小時(shí),，都和直接瞎蒙的正確率沒啥區(qū)別,。但就是在這樣“地獄級(jí)”難度的考試上，Claude 3 Opus 已能達(dá)到及格水平,，正確率約為60%,，相關(guān)領(lǐng)域博士也只達(dá)到約80%。所以作者預(yù)測,，基準(zhǔn)測試也快完了,。

而對(duì)人工智能未來的發(fā)展趨勢，學(xué)霸有一套自己的預(yù)測方法——看OOM的趨勢線,。

他在文章中總結(jié)道,，過去四年人工智能的進(jìn)展，主要得益于：

• 算力（compute）
• 算法效率（algorithm efficiencies）
• 額外釋放的潛力（原文unhobbling gains,，指通過基于人類反饋強(qiáng)化學(xué)習(xí) [RLHF],、思考鏈 [CoT]、工具和腳手架[Scaffolding]等方法微調(diào)帶來的的模型能力）

算力

基于Epoch AI的公開估計(jì),，GPT-4 訓(xùn)練使用的原始計(jì)算力（raw compute）,，比 GPT-2 多大約 3,000 倍到 10,000 倍，增加了3.5-4個(gè)OOM,。

來源：文章

計(jì)算規(guī)模擴(kuò)張還會(huì)持續(xù)?！氨Ｊ亍惫烙?jì),，到 2027 年底，很可能會(huì)再增加 2 個(gè) OOM（約數(shù)十億美元的GPU集群）,。再大膽一些,，考慮到微軟和OpenAI近來的超算合作，即使是接近3個(gè)多 OOM（相當(dāng)于1000多億美元）的算力集群,，也是有可能實(shí)現(xiàn)的,。

來源：文章

算法效率

從2022年到現(xiàn)在的2024年,，同樣是在MATH（高中競賽數(shù)學(xué)的基準(zhǔn)測試）上達(dá)到大概一半（約50%）準(zhǔn)確率的水平,，模型的推理效率提高了近1,000 倍（3個(gè)OOM）。

來源：文章

而據(jù)ImageNet的最佳測試數(shù)據(jù)（其相關(guān)算法研究大多是公開的,，數(shù)據(jù)可追溯到十年前）,，從 2012 年到 2021 年的 9 年期間，算法效率的提升速度,，一直都在 0.5 OOM/年的水平,。

來源：文章

這意味著,，四年后實(shí)現(xiàn)如今的性能,，將達(dá)到大概一百倍的計(jì)算節(jié)約！

作者還觀察了API的收費(fèi)價(jià)格,，間接推斷出算法效率的增速,。

• GPT-4 在發(fā)布時(shí)的API價(jià)格,，大概 GPT-3 發(fā)布時(shí)相同,，盡管性能絕對(duì)優(yōu)秀。
• 自 GPT-4 一年前發(fā)布以來,，隨著 GPT-4o 的發(fā)布,，GPT-4 級(jí)模型的 OpenAI 價(jià)格又下降了 6 倍/4 倍（輸入/輸出）。
• 最近發(fā)布的 Gemini 1.5 Flash,，提供介于“GPT-3.75 級(jí)”和 GPT-4 級(jí)之間的性能,，同時(shí)費(fèi)用比原始 GPT-4 低 85 倍/57 倍（輸入/輸出）

總的來說，GPT-2 到 GPT-4 的進(jìn)步,，呈現(xiàn)出 1-2 個(gè) OOM 的算法效率提升,。算法這部分被拆解出來的進(jìn)步態(tài)勢，也被加到算力基礎(chǔ)上了,。

來源：文章

盡管算法效率提升可能會(huì)有更多困難，但他相信,，人工智能實(shí)驗(yàn)室在資金和人才上的高速投資,，能夠幫助找到算法改進(jìn)的增長點(diǎn)（至少據(jù)公開信息推斷，推理的性價(jià)比提升根本沒有放緩）,。在更高維度,，甚至可以看到更根本性質(zhì)的、類似Transformer式的突破,，甚至有更大的收益,。

總之，可以預(yù)測,，到 2027 年底,，可以實(shí)現(xiàn)（與 GPT-4 相比） 1-3 個(gè) OOM 的算法效率提升，穩(wěn)妥一些——大概是 2 個(gè)左右的 OOM 增長,。

Unhobbling解鎖

剩下最難量化但同樣重要的進(jìn)步部分,，被作者稱為“Unhobbling”,。比起前兩項(xiàng)，這部分更像是“意外之喜”,，是算法微調(diào)引發(fā)的模型能力增長,。

做數(shù)學(xué)難題時(shí)，人類會(huì)在草稿紙上逐步求解,，但模型貌似只能給出未經(jīng)思考的答案,。大模型學(xué)的可不比人類少，按道理來說也是解題專家才對(duì),。究其原因,，其實(shí)是因?yàn)槟Ｐ褪艿搅四承┳璧K，必須經(jīng)過微調(diào)才能解鎖這部分潛力,。

這些微調(diào)就包括——基于人類反饋的強(qiáng)化學(xué)習(xí) （RLHF）,、思考鏈 （CoT）、腳手架（Scaffolding）,、各類工具（Tools,，比如聯(lián)網(wǎng)查答案）、上下文長度（context length,，允許學(xué)習(xí)更多的上下文可以提高計(jì)算效率）,、后訓(xùn)練改進(jìn)（Posttraining improvements）。

METR（一個(gè)評(píng)估模型的組織）發(fā)現(xiàn),，通過從 GPT-4 基礎(chǔ)模型中解鎖（unhobbling）出來,，一組代理任務(wù)的性得到很大的改進(jìn)：僅使用基本模型只達(dá)到 5%，發(fā)布時(shí)經(jīng)過后訓(xùn)練的 GPT-4 達(dá)到 20%,，再到今天的近 40%,。這歸功于更好的后訓(xùn)練、工具和代理腳手架,。

來源：文章

或許很難和算力、算法的改進(jìn)同樣量化比較,，但這部分收益不比前兩者差,。把這部分的進(jìn)步可視化，再堆積到前面兩部分的趨勢線上面,，這四年的進(jìn)步就更加直觀了,。

來源：文章

現(xiàn)在的模型沒有長期記憶,，不能“使用電腦”,，說話前不會(huì)真正醞釀思考；對(duì)話極其簡短，給一周時(shí)間也不會(huì)思考,；更重要的是,，還不會(huì)針對(duì)用戶進(jìn)行個(gè)性化反饋。如果Unhobbling部分的進(jìn)展順利,，可以解決以上痛點(diǎn)——到 2027 年,，人人將擁有將更接近于個(gè)人代理或同事的工具，而不只是聊天機(jī)器人（chatbot）,。

從GPT-2到GPT-4的進(jìn)步來看,，算力實(shí)現(xiàn)了3.5到4個(gè)OOM，算法進(jìn)步實(shí)現(xiàn)了1-2個(gè)OOM,，Unhobbling實(shí)現(xiàn)了大概2個(gè)OOM（作者也不確定,，反正就是很大）。

來源：文章

步子也不用邁得太大,，畢竟各部分的數(shù)字本身就是一個(gè)區(qū)間，更不用說Unhobbling部分還不好預(yù)測,。于是作者說,，到 2027 年年底之前，算力,、算法效率將帶來3-6個(gè)OOM。所以Unhobbling部分的進(jìn)步他沒用OOM衡量,，就被描述為——聊天機(jī)器人（chatbot）將進(jìn)化為Agent,。

來源：文章

總之,，就OOM的總和來看,，近似于GPT-2 到 GPT-4 程度的躍遷，將再次出現(xiàn),。即,，在2027年前，AGI將成功實(shí)現(xiàn),。

智能爆炸,，AGI之后的超級(jí)人工智能

既然前文提到，人工智能在4年內(nèi)從 GPT-4 躍升到 AGI,，那么再過4到8年,，又會(huì)出現(xiàn)什么呢？

作者相信,，人工智能的進(jìn)步不會(huì)止步于人類水平,。數(shù)以億計(jì)的AGI，可以將AI研究轉(zhuǎn)向自動(dòng)化，將十年的算法進(jìn)步（5個(gè)多OOM）壓縮進(jìn)1年以內(nèi)完成,。

一旦我們有了 AGI,，我們就不會(huì)只有一個(gè) AGI?；谖磥?GPU 數(shù)量,，人類或許能夠運(yùn)行數(shù)百萬個(gè)AGI。在領(lǐng)先的人工智能實(shí)驗(yàn)室里,，會(huì)有超過現(xiàn)在100,000倍那么多的研究人員和工程師日以繼夜地工作,，致力于實(shí)現(xiàn)算法突破（遞歸性自我改良）。一切只需要沿著現(xiàn)有趨勢線的速度繼續(xù)前進(jìn)（目前為大約 0.5 OOM/年）,。

來源：文章

人工智能系統(tǒng)將迅速從人類水平，進(jìn)化為超人類水平,。

可能瓶頸

不過這么放衛(wèi)星也不實(shí)在——一些真實(shí)存在的瓶頸,，可能會(huì)延緩AI研究的自動(dòng)化趨勢。

• 有限的計(jì)算能力：人工智能研究需要基于實(shí)驗(yàn)來獲得相關(guān)經(jīng)驗(yàn),，所以實(shí)驗(yàn)的有限計(jì)算資源將成為瓶頸,。但即使考慮到這一點(diǎn)，即使增速達(dá)不到 1,000,000 倍,，基于此前海量的學(xué)習(xí),，“自動(dòng)化 AI 研究人員”也能將計(jì)算效率提高至少 10 倍。即使計(jì)算量相同的情況下,，一些人類研究人員和工程師都能比同行產(chǎn)出高出 10 倍的進(jìn)步——這應(yīng)該更適用于“自動(dòng)化 AI 研究人員”,。
• 互補(bǔ)性/長尾效應(yīng)：從經(jīng)濟(jì)學(xué)角度看，即使能自動(dòng)化70%的東西,，但很快剩下的30%就會(huì)成為瓶頸,，越到后面算法進(jìn)展速度的整體增長越慢，整體進(jìn)展越小,。但作者認(rèn)為,，這只會(huì)讓成果推遲幾年。也許 2026/27 年模型的速度是原型自動(dòng)化得AI研究人員,，還需要一兩年的時(shí)間優(yōu)化才能實(shí)現(xiàn)完全自動(dòng)化,。但不管怎樣，到 2028 年,，最終仍將獲得 10 倍的增長,。
• 算法進(jìn)步的固有限制：雖然肯定會(huì)有上限，但如果在過去十年中獲得了 5 個(gè) OOM,，應(yīng)該期望至少再取得十年的進(jìn)步,。更直接地說，目前的架構(gòu)和訓(xùn)練算法仍然非常初級(jí)，似乎應(yīng)該可以采用更有效的方案,。
• 找到新想法越來越難,，因此自動(dòng)化AI研究人員只會(huì)維持，而不是加速目前的進(jìn)展速度：有人說隨著我們攻克簡單的成果,，更難的想法也越來越難找到,。可能有人看到,，今天只需要幾百名實(shí)驗(yàn)室的頂尖研究人員才能維持0.5個(gè)OOM/年的增長,，未來將需要越來越多的努力來繼續(xù)維持這一進(jìn)展。但單個(gè)人研究工作量增加的幅度——一百萬倍——遠(yuǎn)遠(yuǎn)超過維持進(jìn)步所必需的研究工作量,。
• 新的想法越來越難找到,，回報(bào)遞減，所以智能爆炸增長不現(xiàn)實(shí)：無論如何,，從數(shù)百個(gè) AI 研究人員到數(shù)百萬個(gè) AI 研究人員的一次性躍遷的規(guī)模,，可能會(huì)克服至少一定數(shù)量的算法進(jìn)步的邊際收益遞減，盡管它當(dāng)然不能無限地自我維持,。

超級(jí)智能有多強(qiáng)大就有多危險(xiǎn)

到本十年末,，我們很可能會(huì)擁有難以想象的強(qiáng)大人工智能系統(tǒng)。

• 它們?cè)跀?shù)量上超越人類,。在十年末擁有數(shù)億個(gè) GPU 設(shè)備的情況下,，將能夠運(yùn)行數(shù)十億個(gè)這樣的人工智能系統(tǒng)——它們將比人類思考速度快上數(shù)個(gè)數(shù)量級(jí)，能夠迅速掌握任何領(lǐng)域,，編寫數(shù)萬億行代碼,，閱讀所有有史以來撰寫的每一篇科學(xué)領(lǐng)域的研究論文（它們將是完全跨學(xué)科的！）,，僅在幾周內(nèi)，就能獲得數(shù)十億人類等價(jià)年份的新創(chuàng)新經(jīng)驗(yàn),。
• 思考質(zhì)量也將超越人類,。大規(guī)模強(qiáng)化學(xué)習(xí)運(yùn)行已能夠產(chǎn)生超越人類理解的全新和創(chuàng)意行為——對(duì)于一個(gè)人類可能被困在幾十年的極為困難的科學(xué)和技術(shù)問題，對(duì)它們來說會(huì)顯得如此顯而易見,。就好比,，人類將像困在牛頓物理學(xué)中的高中生，而AI正在探索量子力學(xué),。

這適用于科學(xué),、技術(shù)和經(jīng)濟(jì)的所有領(lǐng)域。誤差可能很大,，但需要注意到這將產(chǎn)生多大的影響,。

來源：文章

爆炸性進(jìn)展最初可能只存在于將AI研究轉(zhuǎn)向自動(dòng)化。但隨著我們獲得超級(jí)智能,，并將我們數(shù)十億（超級(jí)智能的）智能體應(yīng)用于諸多領(lǐng)域的研發(fā),，爆炸性進(jìn)展將會(huì)更多。

• 人工智能能力的爆炸式增長：實(shí)現(xiàn)任何和所有認(rèn)知工作的自動(dòng)化,。
• 解決機(jī)器人問題：超級(jí)智能將不會(huì)長時(shí)間停留在純認(rèn)知層面,。工廠將從由人類管理，轉(zhuǎn)變?yōu)锳I指導(dǎo)下的人類體力勞動(dòng),，最終將完全由機(jī)器人群體運(yùn)行,。
• 大幅加快科技進(jìn)步：十億個(gè)超級(jí)智能，能夠在數(shù)年內(nèi)做完人類研究人員在下個(gè)世紀(jì)所做的研發(fā)工作,。
• 工業(yè)和經(jīng)濟(jì)的迅猛發(fā)展：這將是增長機(jī)制的根本轉(zhuǎn)變,，更像是工業(yè)革命從非常緩慢的增長，到每年幾個(gè)百分點(diǎn)的歷史階梯式變化,。

隨著文明從狩獵到農(nóng)業(yè)，到科學(xué)和商業(yè)的蓬勃發(fā)展,，再到工業(yè),，全球經(jīng)濟(jì)增長的步伐加快了。

• 提供決定性和壓倒性的軍事優(yōu)勢：使是早期的認(rèn)知超級(jí)智能就已足夠強(qiáng)大,，軍事革命將隨之而來,，全新武器可能出現(xiàn)。
• 能夠推翻美國政府：控制超級(jí)智能的人很可能擁有足夠的力量,，從超級(jí)智能出現(xiàn)以前的勢力手中奪取控制權(quán),。

圖片說明了超級(jí)人工智能出現(xiàn)會(huì)在不同方面引爆增長

作者警告,，智能爆炸和后超級(jí)智能時(shí)期將,，是人類歷史上最動(dòng)蕩、最緊張,、最危險(xiǎn)和最瘋狂的時(shí)期之一,。而到本世紀(jì)末，我們都會(huì)身處其中,。

達(dá)到AGI需要投入的成本

作者強(qiáng)調(diào),，如果要實(shí)現(xiàn)預(yù)期的進(jìn)展，需要繼續(xù)進(jìn)行巨額投資和基礎(chǔ)設(shè)施建設(shè),，特別是對(duì)計(jì)算能力,、電力和芯片的進(jìn)一步投資。

AGI不僅僅要靠舊金山的人工智能科學(xué)家和工程師,，還要?jiǎng)訂T美國的工業(yè)力量,。

以下是他估算的核心數(shù)據(jù)：

訓(xùn)練算力

計(jì)算增長趨勢：

• 預(yù)計(jì)到2030年,，最大的訓(xùn)練集群可能需要100GW的電力，相當(dāng)于美國當(dāng)前電力生產(chǎn)的20%以上,。
• AI訓(xùn)練計(jì)算能力每年增長約0.5個(gè)數(shù)量級(jí)（OOMs）,。

具體預(yù)測當(dāng)年的前沿模型需要的算力和電力投入：

• 2022年：GPT-4集群約需10000個(gè)H100等效計(jì)算單元，耗資約5億美元,，需10MW電力,。
• 2024年：需約10萬個(gè)H100等效計(jì)算單元，耗資數(shù)十億美元,，需100MW電力,。
• 2026年：需約100萬個(gè)H100等效計(jì)算單元，耗資數(shù)百億美元,，需1GW電力,，相當(dāng)于胡佛水壩或大型核反應(yīng)堆的規(guī)模。
• 2028年：需約1000萬個(gè)H100等效計(jì)算單元,，耗資數(shù)百億美元,，需10GW電力，相當(dāng)于美國一個(gè)中等州的用電量,。
• 2030年：需約一億個(gè)H100等效計(jì)算單元,，耗資超過1萬億美元，需100GW電力,，相當(dāng)于美國當(dāng)前電力生產(chǎn)的20%以上,。

來源：文章

投資規(guī)模

總體投資預(yù)測：

• 預(yù)計(jì)2024年AI投資將達(dá)到1000億至2000億美元,。
• 到2026年,，總投資可能達(dá)到5000億美元。
• 到2028年,，總投資可能達(dá)到2萬億美元,。
• 到2030年，總投資可能達(dá)到8萬億美元,。

來源：文章

來源：文章

投資可行性

在作者看來,，私營企業(yè)將是AI發(fā)展最重要的投資者。但隨著AI技術(shù)不斷發(fā)展,，國家也需要投入大量資金,。所以投資的資金將來自兩個(gè)重要渠道：

AI收入：

• AI產(chǎn)品的收入增長迅速，預(yù)計(jì)到2026年,，像谷歌或微軟這樣的公司年收入可能達(dá)到1000億美元,。
• 例如,，微軟Office的3.5億付費(fèi)用戶中，有三分之一可能愿意每月支付100美元購買AI附加服務(wù),。

歷史先例：

• 曼哈頓計(jì)劃和阿波羅計(jì)劃在其高峰時(shí)期達(dá)到了GDP的0.4%,，相當(dāng)于今天的約1000億美元。
• 1996年至2001年間,，電信業(yè)投資近1萬億美元,。
• 1841年至1850年間，英國鐵路投資總額相當(dāng)于當(dāng)時(shí)GDP的40%,，相當(dāng)于今天的11萬億美元,。
• 綠色轉(zhuǎn)型也花費(fèi)了數(shù)萬億美元。

電力（Power）

電力需求：

• 預(yù)計(jì)到2028年,，AI計(jì)算集群需要10GW電力,。
• 2030年需要100GW電力，相當(dāng)于當(dāng)前美國電力生產(chǎn)的20%,。

解決方案：

• 美國擁有豐富的天然氣資源,，利用天然氣可以快速滿足AI計(jì)算集群的電力需求。
• 建造新電廠需要巨額資本支出,，但在2-3年內(nèi)是可行的,。

來源：文章

芯片產(chǎn)能

AI芯片生產(chǎn)：

• 目前,，全球AI芯片生產(chǎn)占臺(tái)積電現(xiàn)有的先進(jìn)封裝產(chǎn)能的比例較小,，增長空間巨大。
• 臺(tái)積電新建一個(gè)Gigafab工廠的成本約為200億美元,，年產(chǎn)量可達(dá)10萬個(gè)晶圓,。

供應(yīng)鏈挑戰(zhàn)：

• 包括芯片封裝和高帶寬內(nèi)存（HBM）在內(nèi)的供應(yīng)鏈?zhǔn)钱?dāng)前AI GPU擴(kuò)展的主要瓶頸。

超級(jí)對(duì)齊能否保證AI安全

作者認(rèn)為,，當(dāng)前的AI對(duì)齊技術(shù)（如通過人類反饋的強(qiáng)化學(xué)習(xí),，RLHF）在處理超人類智能系統(tǒng)時(shí)將會(huì)失效。RLHF通過讓AI嘗試行為,，人類隨后對(duì)其行為進(jìn)行評(píng)分,，強(qiáng)化好的行為，懲罰壞的行為,，由此來指導(dǎo)AI遵循人類的偏好,。然而，隨著AI變得比人類更聰明,，RLHF將無法有效地監(jiān)督和控制這些系統(tǒng),。

RLHF的過程概述

超級(jí)對(duì)齊問題的核心

來源：文章

超級(jí)對(duì)齊問題在于,，如何控制比我們聰明得多的AI系統(tǒng),。當(dāng)前的RLHF技術(shù)在AI智能超過人類時(shí)將難以為繼。比如,，當(dāng)一個(gè)超人類AI系統(tǒng)用一種新的編程語言編寫出百萬行代碼時(shí),，人類評(píng)審員將無法判斷這些代碼是否安全，這使得我們無法繼續(xù)用RLHF的方法強(qiáng)化模型好的行為,，或懲罰它的不良行為,。

如果我們不能確保這些超智能系統(tǒng)遵循基本的行為約束，如“不要撒謊”或“遵守法律”,，它們可能會(huì)學(xué)會(huì)撒謊,、尋求權(quán)力，甚至在沒有人類監(jiān)督時(shí)進(jìn)行更加危險(xiǎn)的行為,。這些系統(tǒng)的失控可能導(dǎo)致災(zāi)難性后果,，包括自我脫離服務(wù)器、入侵軍事系統(tǒng)等,。

超對(duì)齊問題：RLHF 不會(huì)擴(kuò)展到超人類模型（過去的模型機(jī)器人看起來是安全的，現(xiàn)在呢,？）

達(dá)到AGI之后,，一切可能會(huì)飛快加速

作者認(rèn)為，達(dá)到AGI之后,，人工智能可能會(huì)在不到一年的時(shí)間內(nèi)從大致達(dá)到人類水平的系統(tǒng)快速過渡到超人類系統(tǒng),。

這將極大地縮短逐步發(fā)現(xiàn)和解決問題的時(shí)間，同時(shí)使故障的后果更加嚴(yán)重,，造成極高的風(fēng)險(xiǎn),。我們需要快速適應(yīng)并確保我們的對(duì)齊技術(shù)能夠跟上這種變化。

要解決超級(jí)對(duì)齊問題,，可能沒有一次性,、簡單的解決方案。研究人員需要通過一系列經(jīng)驗(yàn)性策略來對(duì)齊超越人類的系統(tǒng),，然后利用這些系統(tǒng)來自動(dòng)化對(duì)齊研究,，進(jìn)一步解決更高級(jí)別的對(duì)齊問題。

對(duì)齊相對(duì)超人的模型（Aligning Somewhat-Superhuman Models）

作者認(rèn)為可以嘗試以下研究方向來對(duì)齊相對(duì)超人的系統(tǒng)：

• 評(píng)估比生成更容易（Evaluation Is Easier Than Generation）：評(píng)估輸出比生成輸出要容易,。比如,，評(píng)估一篇論文是否優(yōu)質(zhì)，比自己寫一篇論文要簡單,。
• 可擴(kuò)展監(jiān)督（Scalable Oversight）：使用AI助手幫助人類監(jiān)督其他AI系統(tǒng),，人類和AI團(tuán)隊(duì)可以比單獨(dú)的人類更好地進(jìn)行監(jiān)督。
• 泛化（Generalization）：研究AI系統(tǒng)在人類監(jiān)督的簡單問題上的表現(xiàn)如何泛化到復(fù)雜問題上,。
• 可解釋性（Interpretability）：通過理解AI系統(tǒng)的內(nèi)部推理來驗(yàn)證和信任這些系統(tǒng)的對(duì)齊性,。

研究超級(jí)對(duì)齊的一個(gè)簡單比喻：我們不是用人類來監(jiān)督一個(gè)超人類模型,，而是可以研究一個(gè)小模型監(jiān)督一個(gè)大模型,。例如，我們能否僅用 GPT-2 來對(duì)齊 GPT-4,？這樣做能否使 GPT-4 適當(dāng)?shù)馗爬ā癎PT-2 的意圖”,？圖源：OpenAI文章 Weak-to-strong generalization

在 NLP 基準(zhǔn)測試中典型的從弱到強(qiáng)的泛化：我們使用 GPT-2 級(jí)別的模型作為弱監(jiān)督器來微調(diào) GPT-4,。圖源：OpenAI文章 Weak-to-strong generalization

自動(dòng)化對(duì)齊研究（Automating Alignment Research）

而超級(jí)對(duì)齊就像AI本身的發(fā)展一樣，需要自動(dòng)化對(duì)齊研究來解決真正的和超級(jí)智能對(duì)齊問題,。如果我們能對(duì)齊相對(duì)超人的系統(tǒng),，并相信它們,，我們將有數(shù)百萬自動(dòng)化的AI研究人員來幫助我們解決更高級(jí)的對(duì)齊問題。

對(duì)齊難度的等級(jí)參見上圖。圖源：AI ALIGNMENT FORUM 文章 Could We Automate AI Alignment Research?

超級(jí)防御（Superdefense）

“超級(jí)對(duì)齊”應(yīng)該只是達(dá)到AGI之后進(jìn)行防御的第一層,。我們還需要更多的防御層次來應(yīng)對(duì)可能的失敗,，例如：

安全性（Security）：使用絕對(duì)隔離的集群作為防御超智能系統(tǒng)自我脫離和造成現(xiàn)實(shí)世界傷害的第一層防御,。

監(jiān)控（Monitoring）：高級(jí)監(jiān)控系統(tǒng)可以檢測AI系統(tǒng)是否有惡意行為,。

有針對(duì)性的能力限制（Targeted Capability Limitations）：盡可能限制模型的能力以減少失敗帶來的影響,，例如,，從模型訓(xùn)練中刪除與生物和化學(xué)相關(guān)的內(nèi)容。

有針對(duì)性的訓(xùn)練方法限制（Targeted Training Method Restrictions）：避免使用風(fēng)險(xiǎn)較大的訓(xùn)練方法,，盡可能延長具有可解釋和忠實(shí)推理鏈的訓(xùn)練,。

雖然看起來困難重重,，但作者對(duì)超對(duì)齊問題的技術(shù)可行性持樂觀態(tài)度，認(rèn)為在深度學(xué)習(xí)領(lǐng)域有很多低垂的果實(shí)可以幫助我們解決這些問題,。然而,，達(dá)到AGI之后的高風(fēng)險(xiǎn)和快速變化使得這一過程變得非常緊張,，需要極高的管理能力和科學(xué)決策能力。

AGI現(xiàn)實(shí)主義者

在作者看來,，專家們每年都會(huì)宣布：“深度學(xué)習(xí)的發(fā)展遇到瓶頸了,！”即使是在舊金山，兩種很不嚴(yán)肅的討論也讓人們的觀點(diǎn)變得非常兩極分化,！

一端是末日論者。他們多年來一直癡迷于AGI,。作者說他非常信任他們的先見之明,。但他們的思想已經(jīng)變得僵化，脫離了深度學(xué)習(xí)的經(jīng)驗(yàn)現(xiàn)實(shí),，他們的提議幼稚而不可行,，他們未能與真正的威權(quán)威脅接觸。

他們狂熱地宣稱厄運(yùn)的幾率為99%,，呼吁無限期暫停人工智能——這顯然不是辦法,。

尤德科斯基回應(yīng)了像埃隆·馬斯克和其他科技界人士所表達(dá)的擔(dān)憂,，他們主張暫停人工智能研究六個(gè)月,。圖源：紐約郵報(bào) Silicon Valley doomsayer warns of AI: ‘I think we’re all going to die’ 蓋蒂圖片社；紐約郵報(bào)合成

另一端是所謂的“加速主義者”——e/accs。

已知關(guān)于e/acc或有效加速主義的最早引用出自2022年5月31日和6月1日,，Twitter用戶@zetular,、@BasedBeff和@creatine_cycle“與兄弟們一起創(chuàng)造了一種新哲學(xué)”,。圖源：網(wǎng)絡(luò)

他們的觀點(diǎn)有可取之處：人工智能的進(jìn)步必須繼續(xù)發(fā)展,。但在他們膚淺的Twitter垃圾帖子背后，暗藏著叵測的居心——他們是只想建立自己的套殼初創(chuàng)公司，而不以AGI為目標(biāo)的外行,。他們聲稱自己是自由的捍衛(wèi)者,，但無法抗拒臭名昭著的獨(dú)裁者現(xiàn)金的誘惑。

事實(shí)上,，他們是真正的停滯論者。在他們?cè)噲D否認(rèn)風(fēng)險(xiǎn)的過程中，他們也否認(rèn)了AGI,；從本質(zhì)上說，他們只能做出一個(gè)很酷的聊天機(jī)器人，這些聊天機(jī)器人肯定不會(huì)有危險(xiǎn),。

在作者看來,，這個(gè)領(lǐng)域最聰明的人已經(jīng)聚集到區(qū)別于以上兩種立場的第三種角度。他們以創(chuàng)新的眼光和方式認(rèn)識(shí)和追求AGI,，作者稱之為AGI現(xiàn)實(shí)主義：

超級(jí)人工智能事關(guān)國家安全,。

我們正在迅速制造比最聰明的人類更聰明的機(jī)器,。這不是一次看起來很酷的硅谷熱潮,；這不是一個(gè)由編寫無辜開源軟件包的程序員組成的毫無門檻的社區(qū)；這不是樂趣和游戲,。超級(jí)智能的發(fā)展將是瘋狂的,；它將是人類有史以來建造的最強(qiáng)大的武器,。對(duì)于我們所有參與其中的人來說,，這將是我們做過的最重要的事情。

我們不能搞砸了,。認(rèn)識(shí)到超級(jí)人工智能的力量也意味著認(rèn)識(shí)到它的危險(xiǎn)——無論是因?yàn)槿祟愂褂昧宋覀兿嗷鐜淼钠茐男粤α?，還是因?yàn)槲覀冋谡賳镜耐庑俏锓N是我們還不能完全控制的東西。

想讓超級(jí)人工智能變得可控,，即興發(fā)揮是不能解決問題的,。駕馭這些危險(xiǎn)將需要優(yōu)秀的人帶著前所未有的嚴(yán)肅來到談判桌上,。