當(dāng)全球都在為AI的進(jìn)化而歡呼雀躍，一封警示AI風(fēng)險(xiǎn)的公開信在硅谷科技圈廣為流傳,。

北京時(shí)間3月29日,，圖靈獎(jiǎng)得主、深度學(xué)習(xí)三巨頭之一約書亞·本吉奧（Yoshua Bengio）,，埃隆·馬斯克,，《人類簡(jiǎn)史》作者尤瓦爾·赫拉利等人聯(lián)名發(fā)表公開信，呼吁所有人工智能實(shí)驗(yàn)室應(yīng)立即暫停比GPT-4更強(qiáng)大的人工智能系統(tǒng)訓(xùn)練，暫定時(shí)間是6個(gè)月以上,。

A股最火賽道跳水

3月29日早間,，A股市場(chǎng)的人工智能板塊一度大爆發(fā)，海天瑞聲盤中暴漲20%,，創(chuàng)出歷史新高,，年內(nèi)漲幅一度擴(kuò)大至352%。

但當(dāng)日午后,，人工智能概念大幅回落,，掌閱科技大跌超5%，昆侖萬維,、川大智勝,、中文在線等熱門股集體轉(zhuǎn)跌，海天瑞聲,、光云科技的漲幅亦明顯收窄,。

隨著人工智能的火爆，市場(chǎng)資金也瘋狂涌入相關(guān)個(gè)股,。據(jù)中信證券統(tǒng)計(jì),，上周之前，TMT板塊的日均成交額達(dá)到2400億元左右,，占A股成交量的28.41%,。而3月20日至27日期間,，板塊的日均成交額則超4400億元,，全市場(chǎng)占比達(dá)到了43.13%。

千余名大佬聯(lián)名“發(fā)聲”

第一批簽名人里面可謂大佬云集,。

截至發(fā)稿,，這封公開信獲得了1126個(gè)簽名支持,，埃隆·馬斯克于公開信下第三位簽名，蘋果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克緊隨其后,，署名序列中還包括Stability AI的創(chuàng)始人穆斯塔克,、Skype的聯(lián)合創(chuàng)始人和Pinterest聯(lián)合創(chuàng)始人，以及一位圖靈獎(jiǎng)得主,。

約書亞·本吉奧因?qū)ι疃葘W(xué)習(xí)的貢獻(xiàn),，在2018年與“深度學(xué)習(xí)之父” 杰弗里·辛頓 (Geoffrey Hinton)、Facebook首席科學(xué)家楊力昆（Yann LeCun）一起獲得了圖靈獎(jiǎng),。三人被稱為“AI教父”,。

后兩人雖然沒有參與公開信的簽名，但最近對(duì)OpenAI以及AI領(lǐng)域的快速發(fā)展都表示了擔(dān)憂或批評(píng),。辛頓在近日接受哥倫比亞廣播公司采訪時(shí)表示,，AI消滅人類“并非不可想象”，人類需要警惕AI會(huì)給一小部分公司和政府帶來巨大的權(quán)力,。作為Facebook的AI領(lǐng)頭人,，楊力昆則一直對(duì)OpenAI的大語言模型路徑不屑一顧,，認(rèn)為其科技并無特別創(chuàng)新之處。

馬斯克作為OpenAI的共同創(chuàng)始人之一,，一直也毫不掩蓋他對(duì)OpenAI的敵意，認(rèn)為其過商業(yè)化,，從開源變成了“閉源”,，已經(jīng)忘了非盈利和開放的“初心”。但最近也有新聞指出,，馬斯克之所以如此敵視OpenAI,，是因?yàn)?018年?duì)帄ZOpenAI經(jīng)營(yíng)權(quán)失敗，所以撤資走人,。

此外,，簽名人還包括蘋果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克、2020年美國(guó)總統(tǒng)選舉民主黨初選候選人楊安澤,、AI經(jīng)典教科書《人工智能: 一種現(xiàn)代方法》作者Stuart Russell,、AI領(lǐng)軍公司DeepMind的一眾研究人員等。

Sam Altman,，態(tài)度耐人尋味

署名人員中目前沒有OpenAI員工的身影,。據(jù)媒體報(bào)道，OpenAI的首席執(zhí)行官阿爾特曼的名字曾短暫出現(xiàn)在署名名單中,，此后消失。但有四名谷歌員工在名單上署名,，包括來自谷歌旗下人工智能實(shí)驗(yàn)室DeepMind的三名研究科學(xué)家,。

AI背后不可忽視的風(fēng)險(xiǎn)

這封題為《暫停巨型人工智能實(shí)驗(yàn)》的公開信于3月22日刊登在非盈利組織生命未來研究所（Future of Life Institute）的官網(wǎng)上，其行文明快,、語言犀利,，詳細(xì)闡述了具有與人類競(jìng)爭(zhēng)性的人工智能系統(tǒng)會(huì)給社會(huì)和文明造成的潛在風(fēng)險(xiǎn)。

信中寫道：廣泛的研究表明,，具有與人類競(jìng)爭(zhēng)智能的人工智能系統(tǒng)可能對(duì)社會(huì)和人類構(gòu)成深遠(yuǎn)的風(fēng)險(xiǎn),，這一觀點(diǎn)得到了頂級(jí)人工智能實(shí)驗(yàn)室的承認(rèn)。正如廣泛認(rèn)可的“阿西洛馬人工智能原則（AsilomarAIPrinciples,，阿西莫夫的機(jī)器人三大法則的擴(kuò)展版本,，于2017年由近千名人工智能和機(jī)器人專家簽署）中所述，高級(jí)AI可能代表地球生命史上的深刻變化,，應(yīng)該以相應(yīng)的關(guān)照和資源進(jìn)行規(guī)劃和管理,。不幸的是，這種級(jí)別的規(guī)劃和管理并沒有發(fā)生,，盡管最近幾個(gè)月人工智能實(shí)驗(yàn)室陷入了一場(chǎng)失控的競(jìng)賽,，以開發(fā)和部署更強(qiáng)大的數(shù)字思維，沒有人——甚至他們的創(chuàng)造者——能理解,、預(yù)測(cè)或可靠地控制,。

“當(dāng)代人工智能系統(tǒng)現(xiàn)在在一般任務(wù)上變得與人類具有競(jìng)爭(zhēng)力，我們必須捫心自問：我們是否應(yīng)該讓機(jī)器用宣傳和謊言充斥我們的信息渠道,？我們是否應(yīng)該自動(dòng)化所有工作,，包括令人滿意的工作？我們是否應(yīng)該發(fā)展最終可能比我們更多,、更聰明,，淘汰并取代我們的非人類思維？我們應(yīng)該冒險(xiǎn)失去對(duì)我們文明的控制嗎,？”這封信寫道,，“只有當(dāng)我們確信它們的影響是積極的并且風(fēng)險(xiǎn)是可控的時(shí)候，才應(yīng)該開發(fā)強(qiáng)大的人工智能系統(tǒng),。這種信心必須有充分的理由,，并隨著系統(tǒng)潛在影響的規(guī)模而增加。OpenAI最近關(guān)于通用人工智能的聲明指出,，‘在某些時(shí)候,，在開始訓(xùn)練未來的系統(tǒng)之前進(jìn)行獨(dú)立審查可能很重要，并且對(duì)于最先進(jìn)的工作來說,，應(yīng)該同意限制用于創(chuàng)建新模型的計(jì)算量增長(zhǎng),。’我們同意。那個(gè)某些時(shí)候就是現(xiàn)在,。”

這封信呼吁,，所有人工智能實(shí)驗(yàn)室立即暫停訓(xùn)練比GPT-4更強(qiáng)大的人工智能系統(tǒng)至少6個(gè)月,。這種暫停應(yīng)該是公開的和可驗(yàn)證的，并且包括所有關(guān)鍵參與者,。如果不能迅速實(shí)施這種暫停,，政府應(yīng)介入并實(shí)行暫停。人工智能實(shí)驗(yàn)室和獨(dú)立專家應(yīng)該利用這次暫停,，共同開發(fā)和實(shí)施一套用于高級(jí)人工智能設(shè)計(jì)和開發(fā)的共享安全協(xié)議,，并由獨(dú)立的外部專家進(jìn)行嚴(yán)格審計(jì)和監(jiān)督。這些協(xié)議應(yīng)確保遵守它們的系統(tǒng)是安全的,，并且無可置疑,。這并不意味著總體上暫停AI開發(fā)，只是緊急從奔向不可預(yù)測(cè)的大型黑盒模型的危險(xiǎn)競(jìng)賽中收回腳步,。

與此同時(shí),，信中指出，AI開發(fā)人員必須與政策制定者合作,，以顯著加快開發(fā)強(qiáng)大的AI治理系統(tǒng),。至少應(yīng)包括：建立專門負(fù)責(zé)AI的有能力的新監(jiān)管機(jī)構(gòu)；監(jiān)督和跟蹤高性能人工智能系統(tǒng)和大量計(jì)算能力,；推出標(biāo)明來源系統(tǒng)和水印系統(tǒng),，以幫助區(qū)分真實(shí)與合成，并跟蹤模型泄漏,；強(qiáng)大的審計(jì)和認(rèn)證生態(tài)系統(tǒng),；界定人工智能造成的傷害的責(zé)任；為人工智能技術(shù)安全研究提供強(qiáng)大的公共資金,；以資源充足的機(jī)構(gòu)來應(yīng)對(duì)人工智能將造成的巨大經(jīng)濟(jì)和政治破壞（尤其是對(duì)民主的破壞）,。

這封信最后寫道，“人類可以享受人工智能帶來的繁榮未來,。成功創(chuàng)建強(qiáng)大的AI系統(tǒng)后，我們現(xiàn)在可以享受‘AI之夏’,，收獲回報(bào)，設(shè)計(jì)這些系統(tǒng)以造福所有人，并為社會(huì)提供適應(yīng)的機(jī)會(huì),。社會(huì)已經(jīng)暫停其他可能對(duì)社會(huì)造成災(zāi)難性影響的技術(shù),。我們可以在這個(gè)領(lǐng)域也這樣做。讓我們享受一個(gè)漫長(zhǎng)的AI之夏,，而不是毫無準(zhǔn)備地陷入秋天,。”

未來生命研究所建立于2014年,，是一個(gè)非營(yíng)利組織,，由一系列個(gè)人和組織資助，使命是引導(dǎo)變革性技術(shù)遠(yuǎn)離極端,、大規(guī)模的風(fēng)險(xiǎn),，轉(zhuǎn)向造福生活。（來源：界面新聞,、澎湃新聞,、每日經(jīng)濟(jì)新聞等；整理：孫琪）

編輯：李云鵬