當全球都在為AI的進化而歡呼雀躍,，一封警示AI風險的公開信在硅谷科技圈廣為流傳,。

北京時間3月29日,，圖靈獎得主,、深度學習三巨頭之一約書亞·本吉奧（Yoshua Bengio）,，埃隆·馬斯克，《人類簡史》作者尤瓦爾·赫拉利等人聯(lián)名發(fā)表公開信,，呼吁所有人工智能實驗室應立即暫停比GPT-4更強大的人工智能系統(tǒng)訓練，暫定時間是6個月以上,。

A股最火賽道跳水

3月29日早間,，A股市場的人工智能板塊一度大爆發(fā)，海天瑞聲盤中暴漲20%,，創(chuàng)出歷史新高,，年內漲幅一度擴大至352%。

但當日午后,，人工智能概念大幅回落,，掌閱科技大跌超5%，昆侖萬維,、川大智勝,、中文在線等熱門股集體轉跌，海天瑞聲,、光云科技的漲幅亦明顯收窄,。

隨著人工智能的火爆，市場資金也瘋狂涌入相關個股,。據中信證券統(tǒng)計,，上周之前，TMT板塊的日均成交額達到2400億元左右,，占A股成交量的28.41%,。而3月20日至27日期間,，板塊的日均成交額則超4400億元,，全市場占比達到了43.13%。

千余名大佬聯(lián)名“發(fā)聲”

第一批簽名人里面可謂大佬云集,。

截至發(fā)稿,，這封公開信獲得了1126個簽名支持，埃隆·馬斯克于公開信下第三位簽名,，蘋果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克緊隨其后,，署名序列中還包括Stability AI的創(chuàng)始人穆斯塔克、Skype的聯(lián)合創(chuàng)始人和Pinterest聯(lián)合創(chuàng)始人,，以及一位圖靈獎得主,。

約書亞·本吉奧因對深度學習的貢獻，在2018年與“深度學習之父” 杰弗里·辛頓 (Geoffrey Hinton),、Facebook首席科學家楊力昆（Yann LeCun）一起獲得了圖靈獎,。三人被稱為“AI教父”,。

后兩人雖然沒有參與公開信的簽名，但最近對OpenAI以及AI領域的快速發(fā)展都表示了擔憂或批評,。辛頓在近日接受哥倫比亞廣播公司采訪時表示,，AI消滅人類“并非不可想象”，人類需要警惕AI會給一小部分公司和政府帶來巨大的權力,。作為Facebook的AI領頭人,，楊力昆則一直對OpenAI的大語言模型路徑不屑一顧，認為其科技并無特別創(chuàng)新之處,。

馬斯克作為OpenAI的共同創(chuàng)始人之一,，一直也毫不掩蓋他對OpenAI的敵意，認為其過商業(yè)化,，從開源變成了“閉源”,，已經忘了非盈利和開放的“初心”。但最近也有新聞指出,，馬斯克之所以如此敵視OpenAI,，是因為2018年爭奪OpenAI經營權失敗，所以撤資走人,。

此外,，簽名人還包括蘋果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克、2020年美國總統(tǒng)選舉民主黨初選候選人楊安澤,、AI經典教科書《人工智能: 一種現(xiàn)代方法》作者Stuart Russell,、AI領軍公司DeepMind的一眾研究人員等。

Sam Altman,，態(tài)度耐人尋味

署名人員中目前沒有OpenAI員工的身影,。據媒體報道，OpenAI的首席執(zhí)行官阿爾特曼的名字曾短暫出現(xiàn)在署名名單中,，此后消失,。但有四名谷歌員工在名單上署名，包括來自谷歌旗下人工智能實驗室DeepMind的三名研究科學家,。

AI背后不可忽視的風險

這封題為《暫停巨型人工智能實驗》的公開信于3月22日刊登在非盈利組織生命未來研究所（Future of Life Institute）的官網上，其行文明快,、語言犀利,，詳細闡述了具有與人類競爭性的人工智能系統(tǒng)會給社會和文明造成的潛在風險。

信中寫道：廣泛的研究表明,，具有與人類競爭智能的人工智能系統(tǒng)可能對社會和人類構成深遠的風險,，這一觀點得到了頂級人工智能實驗室的承認。正如廣泛認可的“阿西洛馬人工智能原則（AsilomarAIPrinciples，阿西莫夫的機器人三大法則的擴展版本,，于2017年由近千名人工智能和機器人專家簽署）中所述,，高級AI可能代表地球生命史上的深刻變化，應該以相應的關照和資源進行規(guī)劃和管理,。不幸的是,，這種級別的規(guī)劃和管理并沒有發(fā)生，盡管最近幾個月人工智能實驗室陷入了一場失控的競賽,，以開發(fā)和部署更強大的數(shù)字思維,，沒有人——甚至他們的創(chuàng)造者——能理解、預測或可靠地控制,。

“當代人工智能系統(tǒng)現(xiàn)在在一般任務上變得與人類具有競爭力,，我們必須捫心自問：我們是否應該讓機器用宣傳和謊言充斥我們的信息渠道？我們是否應該自動化所有工作,，包括令人滿意的工作,？我們是否應該發(fā)展最終可能比我們更多、更聰明,，淘汰并取代我們的非人類思維,？我們應該冒險失去對我們文明的控制嗎？”這封信寫道,，“只有當我們確信它們的影響是積極的并且風險是可控的時候,，才應該開發(fā)強大的人工智能系統(tǒng)。這種信心必須有充分的理由,，并隨著系統(tǒng)潛在影響的規(guī)模而增加,。OpenAI最近關于通用人工智能的聲明指出，‘在某些時候,，在開始訓練未來的系統(tǒng)之前進行獨立審查可能很重要,，并且對于最先進的工作來說，應該同意限制用于創(chuàng)建新模型的計算量增長,?！覀兺狻Ｄ莻€某些時候就是現(xiàn)在,?！?/p>

這封信呼吁，所有人工智能實驗室立即暫停訓練比GPT-4更強大的人工智能系統(tǒng)至少6個月,。這種暫停應該是公開的和可驗證的，并且包括所有關鍵參與者,。如果不能迅速實施這種暫停,，政府應介入并實行暫停。人工智能實驗室和獨立專家應該利用這次暫停，共同開發(fā)和實施一套用于高級人工智能設計和開發(fā)的共享安全協(xié)議,，并由獨立的外部專家進行嚴格審計和監(jiān)督,。這些協(xié)議應確保遵守它們的系統(tǒng)是安全的，并且無可置疑,。這并不意味著總體上暫停AI開發(fā),，只是緊急從奔向不可預測的大型黑盒模型的危險競賽中收回腳步。

與此同時,，信中指出,，AI開發(fā)人員必須與政策制定者合作，以顯著加快開發(fā)強大的AI治理系統(tǒng),。至少應包括：建立專門負責AI的有能力的新監(jiān)管機構,；監(jiān)督和跟蹤高性能人工智能系統(tǒng)和大量計算能力；推出標明來源系統(tǒng)和水印系統(tǒng),，以幫助區(qū)分真實與合成,，并跟蹤模型泄漏；強大的審計和認證生態(tài)系統(tǒng),；界定人工智能造成的傷害的責任,；為人工智能技術安全研究提供強大的公共資金；以資源充足的機構來應對人工智能將造成的巨大經濟和政治破壞（尤其是對民主的破壞）,。

這封信最后寫道,，“人類可以享受人工智能帶來的繁榮未來。成功創(chuàng)建強大的AI系統(tǒng)后,，我們現(xiàn)在可以享受‘AI之夏’,，收獲回報，設計這些系統(tǒng)以造福所有人,，并為社會提供適應的機會,。社會已經暫停其他可能對社會造成災難性影響的技術。我們可以在這個領域也這樣做,。讓我們享受一個漫長的AI之夏,，而不是毫無準備地陷入秋天?！?/p>

未來生命研究所建立于2014年,，是一個非營利組織，由一系列個人和組織資助,，使命是引導變革性技術遠離極端,、大規(guī)模的風險，轉向造福生活,。（來源：界面新聞,、澎湃新聞,、每日經濟新聞等；整理：孫琪）

編輯：李云鵬