當(dāng)全球都在為AI的進(jìn)化而歡呼雀躍,，一封警示AI風(fēng)險的公開信在硅谷科技圈廣為流傳。

北京時間3月29日,，圖靈獎得主,、深度學(xué)習(xí)三巨頭之一約書亞·本吉奧（Yoshua Bengio），埃隆·馬斯克,，《人類簡史》作者尤瓦爾·赫拉利等人聯(lián)名發(fā)表公開信,，呼吁所有人工智能實驗室應(yīng)立即暫停比GPT-4更強大的人工智能系統(tǒng)訓(xùn)練,，暫定時間是6個月以上。

A股最火賽道跳水

3月29日早間,，A股市場的人工智能板塊一度大爆發(fā),，海天瑞聲盤中暴漲20%,，創(chuàng)出歷史新高,，年內(nèi)漲幅一度擴大至352%。

但當(dāng)日午后,，人工智能概念大幅回落,，掌閱科技大跌超5%，昆侖萬維,、川大智勝,、中文在線等熱門股集體轉(zhuǎn)跌，海天瑞聲,、光云科技的漲幅亦明顯收窄,。

隨著人工智能的火爆，市場資金也瘋狂涌入相關(guān)個股,。據(jù)中信證券統(tǒng)計,，上周之前，TMT板塊的日均成交額達(dá)到2400億元左右,，占A股成交量的28.41%,。而3月20日至27日期間，板塊的日均成交額則超4400億元,，全市場占比達(dá)到了43.13%,。

千余名大佬聯(lián)名“發(fā)聲”

第一批簽名人里面可謂大佬云集。

截至發(fā)稿,，這封公開信獲得了1126個簽名支持,，埃隆·馬斯克于公開信下第三位簽名,，蘋果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克緊隨其后，署名序列中還包括Stability AI的創(chuàng)始人穆斯塔克,、Skype的聯(lián)合創(chuàng)始人和Pinterest聯(lián)合創(chuàng)始人,，以及一位圖靈獎得主。

約書亞·本吉奧因?qū)ι疃葘W(xué)習(xí)的貢獻(xiàn),，在2018年與“深度學(xué)習(xí)之父” 杰弗里·辛頓 (Geoffrey Hinton),、Facebook首席科學(xué)家楊力昆（Yann LeCun）一起獲得了圖靈獎。三人被稱為“AI教父”,。

后兩人雖然沒有參與公開信的簽名,，但最近對OpenAI以及AI領(lǐng)域的快速發(fā)展都表示了擔(dān)憂或批評。辛頓在近日接受哥倫比亞廣播公司采訪時表示,，AI消滅人類“并非不可想象”,，人類需要警惕AI會給一小部分公司和政府帶來巨大的權(quán)力。作為Facebook的AI領(lǐng)頭人,，楊力昆則一直對OpenAI的大語言模型路徑不屑一顧,，認(rèn)為其科技并無特別創(chuàng)新之處。

馬斯克作為OpenAI的共同創(chuàng)始人之一,，一直也毫不掩蓋他對OpenAI的敵意,，認(rèn)為其過商業(yè)化，從開源變成了“閉源”,，已經(jīng)忘了非盈利和開放的“初心”,。但最近也有新聞指出，馬斯克之所以如此敵視OpenAI,，是因為2018年爭奪OpenAI經(jīng)營權(quán)失敗,，所以撤資走人。

此外,，簽名人還包括蘋果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克,、2020年美國總統(tǒng)選舉民主黨初選候選人楊安澤、AI經(jīng)典教科書《人工智能: 一種現(xiàn)代方法》作者Stuart Russell,、AI領(lǐng)軍公司DeepMind的一眾研究人員等,。

Sam Altman，態(tài)度耐人尋味

署名人員中目前沒有OpenAI員工的身影,。據(jù)媒體報道,，OpenAI的首席執(zhí)行官阿爾特曼的名字曾短暫出現(xiàn)在署名名單中，此后消失,。但有四名谷歌員工在名單上署名,，包括來自谷歌旗下人工智能實驗室DeepMind的三名研究科學(xué)家。

AI背后不可忽視的風(fēng)險

這封題為《暫停巨型人工智能實驗》的公開信于3月22日刊登在非盈利組織生命未來研究所（Future of Life Institute）的官網(wǎng)上,，其行文明快,、語言犀利，詳細(xì)闡述了具有與人類競爭性的人工智能系統(tǒng)會給社會和文明造成的潛在風(fēng)險,。

信中寫道：廣泛的研究表明,，具有與人類競爭智能的人工智能系統(tǒng)可能對社會和人類構(gòu)成深遠(yuǎn)的風(fēng)險，這一觀點得到了頂級人工智能實驗室的承認(rèn),。正如廣泛認(rèn)可的“阿西洛馬人工智能原則（AsilomarAIPrinciples,，阿西莫夫的機器人三大法則的擴展版本，于2017年由近千名人工智能和機器人專家簽署）中所述,，高級AI可能代表地球生命史上的深刻變化,，應(yīng)該以相應(yīng)的關(guān)照和資源進(jìn)行規(guī)劃和管理。不幸的是,，這種級別的規(guī)劃和管理并沒有發(fā)生,，盡管最近幾個月人工智能實驗室陷入了一場失控的競賽，以開發(fā)和部署更強大的數(shù)字思維,，沒有人——甚至他們的創(chuàng)造者——能理解,、預(yù)測或可靠地控制。

“當(dāng)代人工智能系統(tǒng)現(xiàn)在在一般任務(wù)上變得與人類具有競爭力,，我們必須捫心自問：我們是否應(yīng)該讓機器用宣傳和謊言充斥我們的信息渠道,？我們是否應(yīng)該自動化所有工作，包括令人滿意的工作,？我們是否應(yīng)該發(fā)展最終可能比我們更多,、更聰明,，淘汰并取代我們的非人類思維,？我們應(yīng)該冒險失去對我們文明的控制嗎？”這封信寫道,，“只有當(dāng)我們確信它們的影響是積極的并且風(fēng)險是可控的時候,，才應(yīng)該開發(fā)強大的人工智能系統(tǒng)。這種信心必須有充分的理由,，并隨著系統(tǒng)潛在影響的規(guī)模而增加,。OpenAI最近關(guān)于通用人工智能的聲明指出，‘在某些時候,，在開始訓(xùn)練未來的系統(tǒng)之前進(jìn)行獨立審查可能很重要,，并且對于最先進(jìn)的工作來說，應(yīng)該同意限制用于創(chuàng)建新模型的計算量增長,?！覀兺狻Ｄ莻€某些時候就是現(xiàn)在?！?/p>

這封信呼吁,，所有人工智能實驗室立即暫停訓(xùn)練比GPT-4更強大的人工智能系統(tǒng)至少6個月。這種暫停應(yīng)該是公開的和可驗證的,，并且包括所有關(guān)鍵參與者,。如果不能迅速實施這種暫停，政府應(yīng)介入并實行暫停,。人工智能實驗室和獨立專家應(yīng)該利用這次暫停,，共同開發(fā)和實施一套用于高級人工智能設(shè)計和開發(fā)的共享安全協(xié)議，并由獨立的外部專家進(jìn)行嚴(yán)格審計和監(jiān)督,。這些協(xié)議應(yīng)確保遵守它們的系統(tǒng)是安全的,，并且無可置疑。這并不意味著總體上暫停AI開發(fā),，只是緊急從奔向不可預(yù)測的大型黑盒模型的危險競賽中收回腳步,。

與此同時，信中指出,，AI開發(fā)人員必須與政策制定者合作,，以顯著加快開發(fā)強大的AI治理系統(tǒng)。至少應(yīng)包括：建立專門負(fù)責(zé)AI的有能力的新監(jiān)管機構(gòu),；監(jiān)督和跟蹤高性能人工智能系統(tǒng)和大量計算能力,；推出標(biāo)明來源系統(tǒng)和水印系統(tǒng)，以幫助區(qū)分真實與合成,，并跟蹤模型泄漏,；強大的審計和認(rèn)證生態(tài)系統(tǒng)；界定人工智能造成的傷害的責(zé)任,；為人工智能技術(shù)安全研究提供強大的公共資金,；以資源充足的機構(gòu)來應(yīng)對人工智能將造成的巨大經(jīng)濟和政治破壞（尤其是對民主的破壞）。

這封信最后寫道,，“人類可以享受人工智能帶來的繁榮未來,。成功創(chuàng)建強大的AI系統(tǒng)后，我們現(xiàn)在可以享受‘AI之夏’,，收獲回報,，設(shè)計這些系統(tǒng)以造福所有人，并為社會提供適應(yīng)的機會,。社會已經(jīng)暫停其他可能對社會造成災(zāi)難性影響的技術(shù),。我們可以在這個領(lǐng)域也這樣做。讓我們享受一個漫長的AI之夏,，而不是毫無準(zhǔn)備地陷入秋天,?！?/p>

未來生命研究所建立于2014年，是一個非營利組織,，由一系列個人和組織資助,，使命是引導(dǎo)變革性技術(shù)遠(yuǎn)離極端、大規(guī)模的風(fēng)險,，轉(zhuǎn)向造福生活,。（來源：界面新聞、澎湃新聞,、每日經(jīng)濟新聞等,；整理：孫琪）

編輯：李云鵬