作者 | 鄧詠儀

編輯 | 蘇建勛

為AI安全最近四處奔波的OpenAI創(chuàng)始人Sam Altman,，近期現身中國2023年智源大會,，再度就這一話題發(fā)聲,。

在6月10日的2023年北京智源大會上,，Sam Altman以視頻連線方式在“AI安全與對齊”分論壇中露面，發(fā)表關于AI安全的演講,，并且與中國科學院院士張洪江進行對談,。

36氪也在現場參與了這場分論壇。當張鈸院士結束開場演講后,，Sam Altman的視頻會議連線畫面出現在大屏幕上,，在場的中國觀眾一陣歡呼，顯現出對這位風云人物的高度關注。

這也是Sam Altman近年來首次在中國的正式演講,。此前,，他度過了忙碌的五月——剛剛參加完美國國聽證會，向參議院陳述AGI的發(fā)展程度,，呼吁政府參與AI監(jiān)管,，隨后即開始了他的環(huán)球旅行——如他在演講中所言，“已經去了五個大洲的近20個國家,，與學生,、開發(fā)人員和國家元首會面”。

來源：智源研究院

除了Sam Altman,，6月10日的這場分論壇可謂是大咖云集，觀點充滿激辯,。

在Sam Altman后緊接著發(fā)言的,，是另一位AI先驅、加州大學伯克利分校教授Stuart Russell,，他與中國科學院院士姚期智進行了對談,。和Sam相反，Russell對大模型的態(tài)度更為保守,，直接表示“大語言模型只是AGI的其中一塊拼圖”,，我們連拼圖最終會長什么樣子，缺什么部分,，都還不知道”,。

而OpenAI目前的對手之一 ——Anthropic的聯(lián)合創(chuàng)始人Christopher Olah也發(fā)表了演講。在下午出席的,，還有圖靈獎得主,、深度學習之父Geoffrey Hinton。

在演講和會后對談中,，Sam Altman描繪了AGI在未來可能帶來的宏偉前景——“超強人工智能在十年內就會出現”,，現在盡管這項技術仍處于早期，但在全球范圍內建立合作的標準和框架“是必要的”,。

和美國國會聽證會中的發(fā)言類似,，Sam Altman再度呼吁在國際間建立組織和標準，進行國際層面的合作,?！拔覀冃枰H規(guī)范和標準，在所有國家為AGI的使用制定平等統(tǒng)一的保護措施,?！彼硎?。

OpenAI近期在AI監(jiān)管上花費了不少功夫，Sam Altman從好幾個方面介紹了團隊的投入,。

對于OpenAI自己的大模型,，團隊目前主要使用來自人類反饋的強化學習來進行訓練。而從從GPT-4完成預訓練到部署,，OpenAI花費了超過8個月的時間來進行這項工作,。

為了提出更好的監(jiān)督措施，Sam提到,，OpenAI最近發(fā)表的幾篇論文,，就嘗試搞明白大模型運作的原理——其中一種方式是“用模型監(jiān)督模型”，比如OpenAI就用GPT-4來解釋GPT-2中的神經元,，以及使用模型內部信息來確認模型“是否在說謊”,。

除了OpenAI自己努力，Sam也提到,，OpenAI也通過投資等方式,，促進業(yè)界對AI安全的關注。

實際上,，在5月26日,，OpenAI也啟動了一項激勵計劃,，出資100萬美元,，向社會征集有效的AI治理方案，一個月后選出10個方案,，分別給每個方案,。

在演講后，Sam Altman與智源研究院理事長張宏江也進行了對話,。

在對談里,，Sam明確表示“中國擁有世界上一些最優(yōu)秀的AI研究人員和系統(tǒng)”，在AGI方面進行“對齊”（即AI系統(tǒng)的目標和人類的價值觀與利益保持一致）會面臨不少困難,，這需要全球層面的合作,。

事實上，在OpenAI爆火后,，Sam Altman近期對公司本身的發(fā)聲越來越低調,。在智源大會舉辦之前，他就對媒體強調“本次會議只談AI安全,，不談其他”,。不過，他還是對OpenAI面臨的一些問題做出回應——比如OpenAI的開源問題,。

Sam坦承,，如今OpenAI沒有一個確定的開源時間表，當前公司的模型只有部分是開源的?！澳撤N程度上,，開源對AI行業(yè)是非常重要的，但隨著模型變得越來越強大,，開源并不是最佳的路徑,。”Sam表示,。

他還以API舉例,，API其實是提供了一種外部的安全控制機制，可以阻止濫用和微調,，一旦遇到問題了,，也可以收回API。

而對大模型帶來的技術路線改變,，Sam也提出了自己的看法,。隨著推進AI監(jiān)管和治理的進程，未來大語言模型的底層架構發(fā)生改變“是很有可能的”——OpenAI的如今的模型架構,，也已經和最原始的Transformer架構很不同了,。

附Sam Altman演講全文及對談：

我最近在做全球巡回的訪問，期間穿越五大洲近20個國家,，接觸了諸多的學生,、開發(fā)者，這趟出行令人振奮,，我們見證了全球各地的人們利用OpenAI的新技術來改變生活方式,，我們也獲得了非常寶貴的意見，以便于讓我們的工具優(yōu)化得更好,。此外,，我也有機會拜訪了多位外國領導人，討論確保越來越強大的人工智能系統(tǒng)安全部署所需的各種基礎工作,。

坦白說，世界的注意力主要集中在解決當今的人工智能問題上,，很多問題的解決非常迫切,，我們還有很多工作要做，不過鑒于我們已經取得的進展,，我相信我們會實現目標,。

今天，我想談談未來,。具體來說,，我們正在看到人工智能能力的迅速增長，現在需要做的是負責任地將其應用到世界中去,?？茖W的歷史告訴我們，技術進步遵循指數曲線,。這在農業(yè),、工業(yè)和計算革命中得到了驗證。現在,，我們親眼目睹人工智能變革,，不僅因為我們正在見證它，而且因為它帶來的變革速度,。

它正在迅速拓展人類的想象力,。想象一下,，在未來十年,，人工通用智能系統(tǒng)（常稱為AGI）將會超過90年代初，人類所具備的專業(yè)水平,，這些系統(tǒng)最終可能超過人類最大體量公司的總體生產力,，這里的潛在收益是巨大的。

人工智能革命將帶來可共享的財富,，使改善人類互動標準成為可能,，但我們必須管理好風險，并共同努力來實現預期目標,。我時常感覺一些人放棄他們應有的權益來實現人類共同的目標,，在今天很多領域仍然如此——大國之間經常通過合作的方式來實現共同目標，這種形式的合作對關鍵的醫(yī)學和科學進展都會帶來好處,，比如根除小兒麻痹癥和天花等疾病,，以及全球減少氣候變化風險的努力,。

隨著越來越強大的人工智能系統(tǒng)的出現，全球合作的利益變得前所未有地重要,。如果我們不做好規(guī)劃,，一個設計用于改善公共衛(wèi)生結果的未對齊的AI系統(tǒng)，可能會通過提供不平衡的建議來破壞整個集體系統(tǒng),。同樣,，一個旨在優(yōu)化農業(yè)實踐的人工智能系統(tǒng)可能會無意中損害經濟和資源的消耗，缺乏對長期可持續(xù)性的考慮,，從而影響食物生產和環(huán)境平衡,。我希望我們都能認同，推進AGI安全是我們尋找共同立場的最重要領域之一,，我希望把時間都集中在我們已經開始的領域,。

其中一個領域是AGI治理。AGI的力量可以從根本上改變我們的文明,，這突顯了有意義的國際合作,、協(xié)調的必要性，每個人都會從積極的治理方法中受益,。如果我們將這個核心的最先進政策網絡化,，AGI系統(tǒng)可以為全球經濟創(chuàng)造無與倫比的經濟豐富，解決共同的挑戰(zhàn),，如氣候變化,、全球健康安全，并在無數其他方面提升社會福祉,。我深信這也是未來,，我們深處同一個星球，需要明確投資AGI的安全性的意義,。

我們必須為魯莽的開發(fā)和部署可能引發(fā)的問題負起責任,，其中最重要的兩個領域是：首先，我們需要建立起包容的國際準則和標準,，并在所有國家對AGI的使用中建立平等,、統(tǒng)一的防護措施。其次,，我們需要國際合作,，以可驗證的方式在全球范圍內建立對越來越強大的AGI系統(tǒng)安全開發(fā)的信任，我知道這并不容易,。

作為國際社會,，我們需要對安全進行長期的關注和投入，以確保我們做得正確,?！兜赖陆洝诽嵝盐覀?，“千里之行，始于足下”,，最有建設性的第一步是與國際科技界展開合作,，推動增加AGI安全技術進展的透明度和知識的機制，發(fā)現緊急問題的研究人員應該與更多人共享研究成果,。

我們需要更加深入地思考如何在鼓勵推動國際合作的同時尊重和保護知識產權,。如果我們做得好，這將為我們打開深化合作的新大門,。更廣泛地說,，我們應該推動并引導與安全研究一致的投資。

當前,，我們關注的是如何使AI系統(tǒng)成為一個有益和安全的助手,，這對應的是如何訓練模型，使其在沒有安全威脅的前提下發(fā)揮積極作用,，不過,，隨著AGI時代的接近，其帶來的潛在影響,、問題將呈指數級增長,，所以，我們需要通過主動應對AGI帶來的潛在挑戰(zhàn),，將未來災難性后果的風險降至最低,。

從GPT-4完成預訓練到部署，我們花了八個月的時間來研究這個如何前置預判風險并給出對策的問題,，我們認為我們走在了正確的道路上,，GPT-4的對齊程度超過當前所有的代碼。不過,，對于更高級的系統(tǒng),，對齊仍然是一個尚未解決的問題，我們認為需要新的技術方法以及加強治理監(jiān)督,，畢竟未來的AGI,，可能是一個十萬行二進制代碼的系統(tǒng)。

人類監(jiān)督者很難判斷如此規(guī)模的模型是否在做一些損害的事情,。因此，我們正在投資于幾個新的,，并且希望能取得成果的方向,，其中之一是可擴展的監(jiān)督，嘗試使用AI系統(tǒng)來協(xié)助人類監(jiān)督其他AI系統(tǒng),。例如,，我們可以訓練一個模型來幫助人類監(jiān)督員找出其他模型代碼中的缺陷,。

第二個方向是可解釋性。我們希望更好地理解模型內部發(fā)生的事情,，我們最近發(fā)表了一篇論文,，使用GPT-4來解釋計算機的復雜狀態(tài)。雖然還有很長的路要走,，但我們相信先進的機器學習技術可以進一步提高我們解釋的能力,。

最終，我們的目標是訓練AI系統(tǒng)具備更好地優(yōu)化自身的能力,，這種方法的一個有前景的方面在于——它可以與AI的發(fā)展速度相適應,。隨著未來的模型變得越來越智能和強大，作為助手,，我們將找到更好的學習技術,，在充分發(fā)揮AI的非凡好處的同時降低風險。

我們認為,，美國,、中國乃至世界各地的研究人員，在應對AI領域的技術挑戰(zhàn)上的合作,，存在巨大潛力,，想象人類可以利用AI來解決世界上最重要的問題，大幅改善生存條件和質量,。

薩姆·奧特曼與張宏江問答：

張宏江：您提到了正在和歐盟以及其他AI領域溝通全球治理,，現在進展如何？我們距離AGI時代還有多遠,，有沒有什么可以證明距離這一天還很遙遠,？假設我們發(fā)現了安全的人工智能，是否意味著也找到了不安全的人工智能,？

薩姆·奧特曼：這很難預測,，仍然需要不斷地研究才能提供結論，并且這條路不會一帆風順,，但AGI可能很快就會發(fā)生,，但在未來的10年內，我們可能會擁超強的AI系統(tǒng),。

在那種情況下,，全球監(jiān)管就非常的緊迫，而且歷史上也出現過很多新技術改變世界的相關的案例,，現在這種改變速度正變得更快,，考慮到這種緊迫性，我認為準備好迎接這一切并就安全問題作出正確回答非常重要,。

張宏江：所以,，您覺得這（正確回答安全相關的問題）是我們的優(yōu)先事項,？

薩姆·奧特曼：我想強調的是，我們并不確切知道（未來可能會如何）,，尤其是現在對人工智能的定義存在差異,，但我認為在10年內，我們應該為一個擁有超強AI系統(tǒng)的世界做好準備,。

張宏江：您提到,，OpenAI是一個致力于全球合作的機構，你們正在推動的全球合作有哪些,，獲得了哪些回應,，有什么感受？

薩姆·奧特曼：我認為人們非常重視AGI的風險和機遇,。在過去的六個月里,，相關討論已經發(fā)生了很大變化。人們似乎真心致力于找到一種機制,，既能讓我們享受這些好處,，又能在全球范圍內共同努力減輕風險，我認為我們在這方面做的不錯,。

全球合作始終是困難的,，但我認為這種機遇和威脅確實能夠讓世界走到一起，我們可以為這些系統(tǒng)制定一個框架和安全標準,，這非常有幫助,。

張宏江：在之前有沒有的成功的案例，您能舉個例子嗎,？

薩姆·奧特曼：我們已經消除了一些全球合作的障礙,。我們已經解決了技術上的困難，例如真實世界交易的問題,。有很多例子可以說明我們已經有所突破,。

張宏江：您提到了先進AI系統(tǒng)的對齊問題，我也注意到在過去幾年中,，許多AI系統(tǒng)都付出了很多努力來優(yōu)化其對齊性能,，我們可以在近些年里完成對AI安全的研究嗎？

薩姆·奧特曼：我認為“對齊”這個詞在不同的方式中被使用,。我認為我們需要解決整個挑戰(zhàn),，即能夠安全地訪問系統(tǒng)意味著什么。從傳統(tǒng)意義上講,，讓模型按照用戶意圖進行溝通的對齊是其中的一部分,。還會有其他問題，例如我們如何驗證系統(tǒng)正在按照我們的意愿行事,，以及我們將系統(tǒng)與哪些價值觀對齊,。我認為重要的是全面考慮如何獲得安全的AI。

我認為對齊工作還在不斷演變中,。我們將納入市場上已有的工作模式,。很多這些技術仍處于紙面之上，但是我們需要超越技術的其他因素,。這是一個復雜的問題,。AI安全是最新的技術。因此,，技術方面的創(chuàng)新是我們需要考慮的因素之一,。我們需要思考關鍵的AI安全問題。我們如何應對這些挑戰(zhàn),？就像我們大多數人都是科學家一樣去思考,。我們?yōu)槭裁匆鲞@個？這是一個非常復雜的問題,。我認為,，為了確保我們解決了技術方面的安全問題，需要投入大量精力,。

正如我之前提到的,，確定我們要與之保持一致的價值觀并不是一個技術問題。我們確實需要技術的參與,，但這更是一個值得全社會深入討論的問題,。我們必須設計出公平的、有代表性和包容性的系統(tǒng),。正如您所指出的,，我們不僅需要考慮AI模型本身的安全性，還需要考慮整個系統(tǒng)的安全性,。因此,，我們需要構建安全的分類器和檢測器，以監(jiān)測符合用戶政策的情況,。這一點很重要,。

此外，我認為很難預測和預先解決任何技術可能出現的問題,。因此,，通過從實際使用中學習并快速部署數據，觀察在一個國家中會發(fā)生什么,，并給人們提供時間來學習,、更新和思考這些模型將如何影響他們的生活，這也非常重要。

張宏江： 中國,、美國和歐洲是推動人工智能和創(chuàng)新的三個主要力量,。您認為國際合作解決人工智能需求和決策方面的優(yōu)勢有哪些？這些優(yōu)勢如何結合起來產生影響,？

薩姆·奧特曼：我認為在人工智能安全性方面,，普遍存在著需要許多不同觀點的情況。我們還沒有所有的答案,，解決這個問題非常困難且重要,。正如我提到的，這不僅僅是一個技術問題,。使人工智能變得安全這件事受益于了解不同國家和不同背景下用戶的偏好,。因此，我們需要許多不同的觀念來實現這一目標,。中國擁有世界上一些最優(yōu)秀的AI系統(tǒng),，從根本上講，我認為這使研究人員在解決許多不同的AI系統(tǒng)的問題上面臨困難,。中國是世界上最好的地方,，我真誠希望中國和美國的研究人員能對此做出巨大貢獻。

張宏江：您能分享一些在這方面取得的成就嗎,？在這項工作中,，您的計劃或想法是什么？

薩姆·奧特曼：我認為一個重要的進展是人們開始對如何安全開發(fā)先進AI系統(tǒng)的國際標準感到興奮了,。我們希望在訓練廣泛模型并在其部署之前,，思考應該進行什么樣的測試。我們還就構建反映人們目標,、價值觀和實踐的數據庫進行了新的討論,，人們可以利用這些數據庫來使他們的系統(tǒng)與之對齊，并探討了開展共享AI安全性研究的形式問題,。所以,，這些可能是目前出現的三個最具體的事情。

張宏江：我在這里有一個很棒的問題,，來自觀眾——您是否打算重新開放GPT的源代碼,，就像在3.0之前一樣？

薩姆·奧特曼：關于源代碼,，我不太清楚,，但可以確認一下。我們開源了一些模型,，而其他模型則不開源,，但隨著時間的推移,，我認為我們可以期望開源的模型會更多，我沒有具體的模型或時間表,，但這是我們正在努力的事情我不確定您是否聽說過,，但是我主持了一個開源機構，我們在開放源代碼方面付出了很多努力,，包括模型,。

我將采用一種算法來開發(fā)模型,，并引入新的Python模型和A-15模型,。我們相信需要傾聽并理解聽眾的反饋。所以,，如果您明天對此有類似的見解,，是否有什么可以去討論以回應兩位現在正在談論的同事之間的擔憂？是的,，我的意思是,，開源確實起著重要的作用。

開源模型的發(fā)展已經相當多了,。我認為A-15模型也起著重要的作用,，它為我們提供了額外的安全控制。您可以阻止某些用戶,，可以阻止某些類型的微調,。這是一個重要的回歸點。就目前模型的規(guī)模而言,，我對此并不太擔心,，但隨著模型變得越來越大，確保正確性可能會變得昂貴,。我認為開源一切可能不是最優(yōu)的路徑,，盡管這確實是正確的路徑。我認為我們只需小心地朝著這些節(jié)點前進,。

張宏江：是的,，我認為開源模型確實有優(yōu)勢?？偨Y一下我所說的,，無論是GPT-4還是開源的模型及簡化性AI，我們有沒有可能需要改變整個基礎設施或者模型的架構,，使其像GPT-2一樣簡單,？對此您有何想法？從能力和安全性的角度來看,，我們可能確實需要一些非常不同的架構,。

薩姆·奧特曼：我認為我們將在這個能力上取得一些良好的進展,，但在當前的模型類型中他們展現的效果更好，這是一個原因,。但是,，如果在10年后出現另一個巨大的飛躍，我也不會感到驚訝,。我不記得很多年間有什么東西真正改變了的架構,。另外，作為一名研究人員,，我相信在座的許多人都會有這種好奇心,，就是關于大模型和大容量模型的人工智能用戶體驗方面的下一步發(fā)展方向。我們是否會很快落后于增長曲線,，或者下一個前沿是具有體現能力的模型,，或者自主機器人是人工智能所關注的下一個前沿？我也非常好奇接下來會發(fā)生什么,。我最喜歡做這項工作的事情就是能夠處在研究的前沿,，這是令人興奮和驚喜的，我們還沒有答案,。因此,，我們正在探索許多關于接下來可能出現什么、可能的新領域的想法,。

當然,，并不是說我們現在就能在序列中找到新的抗衰老模型，而是不用過于擔心具體的時間點,。我們在剛開始的時候就做過機器人方面的工作,，并且我們對此非常興奮，也經歷了困難,。我希望有一天我們能夠回到這個話題,。

張宏江： 您還提到您正在研究如何制作更安全的模型，特別是使用CT4數據,，在CT6的神經元有這個數據,。這個工作在這個方向上是否有效？您是否能夠在未來（用這種方法）推進人工智能領域,？

我們將繼續(xù)在這方面努力,。所以，如果我認為我們會考慮到這一點,，它是否具有可擴展性,？因為我在向一群生物學科學家提問，他們專注于人類的學習,。他們想借鑒這些思想并從中學習,，以研究人類在工作中的表現,。觀察人工神經元比觀察生物神經元更容易。

薩姆·奧特曼：我認為這對人工神經網絡是可行的,。我認為使用更強大的模型或使用類似其他（生物）模型的模型的方法是可行的,。但我不太確定如何將其應用于人腦。另外,，我們正在討論人工智能安全和API控制的話題,。我們剛才在辯論，如果我們只有三個模型,，那么我們會更安全,。這就像一個核計劃。您不希望（每個人）擁有核武器,。因此,，當我在控制模型數量時，如果控制不了接觸模型和數據的人數的話是不安全的,。

那么，我們是要控制模型的數量嗎,？從人類的角度來看,，無論是擁有少量模型還是大量模型，都不能讓我們更安全,。更重要的是,，我們是否有一種機制，確保任何柯林斯模型都需要經過足夠的安全測試,。我們是否有一個框架,，讓那些創(chuàng)建了完備柯林斯模型的人具備足夠的資源和責任心，確保他們創(chuàng)造的東西是安全可靠的,？來自麻省理工學院的教授Max是萊布尼茲研究所的一位教師,，他提到了一種方法，但他認為這個方法不夠具體,。

從一個角度來看,，我們可以研究如何控制隱私的泄露。如果您丟失了一封電子郵件,，您仍然可以獲取一份副本,。在這個過程中您無法證明它是怎么獲取到的。如果那家公司可以借用您的資料,，那這將產生重大影響,。我認為有一些行業(yè)正在發(fā)展不同的許可框架，將新技術引入市場,，我認為我們應該借鑒它們,。但我認為從根本上說,，我們有著很好的購買數據的歷史。

張宏江： 最后一個問題,，您對人工智能社區(qū)的設想是什么,，以及在這個方向上可能具有很大推動力的因素是什么？

薩姆·奧特曼：在過去我說過：是什么推動您如此高度地激勵去從事人工智能安全性工作,？對我而言,，沒有比安全性工作更令人興奮、活力四溢,、充實且重要的事情了,。我堅信，如果您個人對一項重要的倡議非常認可,，您將會有無窮的力量去解決它,。這對我們團隊來說確實如此。當我們剛開始的時侯,，我覺得成功的概率會非常低,。但如果我們能夠找出如何構建人工智能，那它肯定會產生巨大變革,。我們必須進行安全方面的工作對吧,？這就是其中的一部分。但您不能阻止AI的發(fā)展,。