圖源：視覺中國

文/福布斯中國

數(shù)千名科技界專家聯(lián)合簽署了一份由生命未來研究所（Future of Life）發(fā)起的“暫停巨型人工智能實(shí)驗(yàn)”的公開信。

響應(yīng)名單包括特斯拉和推特的首席執(zhí)行官埃隆·馬斯克 (Elon Musk) ,、蘋果聯(lián)合創(chuàng)始人斯蒂夫·沃茲尼亞克 (Stephen Wozniak) ,、蒙特利爾學(xué)習(xí)算法研究所所長約書亞·本吉奧 (Yoshua Bengio) 等業(yè)界大佬。

這封公開信呼吁所有人工智能實(shí)驗(yàn)室立即暫停比GPT-4更強(qiáng)大的人工智能系統(tǒng)的訓(xùn)練，暫停時(shí)間至少為6個(gè)月,，并建議如果不暫停,，應(yīng)該政府強(qiáng)制暫停。

在經(jīng)歷了9個(gè)月指數(shù)級進(jìn)步后,，人工智能行業(yè)選擇主動剎車,，或許并非是因?yàn)樗呀?jīng)創(chuàng)造了社會矛盾，而是它在商業(yè)化普及后可能會帶來的更大未知,。

該公開信簽名的發(fā)起方,，生命未來研究所（Future of Life Institute，F(xiàn)LI）是一家位于美國波士頓地區(qū)的研究與推廣機(jī)構(gòu),，創(chuàng)立于2014年3月,，以“引導(dǎo)變革性技術(shù)造福生活，遠(yuǎn)離極端的大規(guī)模風(fēng)險(xiǎn)”為使命,。FLI致力于降低人類所面臨的風(fēng)險(xiǎn),，目前主要關(guān)注人工智能、生物技術(shù),、核武器以及氣候變化這四個(gè)議題,。

該機(jī)構(gòu)創(chuàng)始人包含麻省理工學(xué)院宇宙學(xué)家馬克斯·泰格馬克，Skype聯(lián)合創(chuàng)始人讓·塔林,，哈佛大學(xué)博士生維多利亞·克拉科夫那（Viktoriya Krakovna）,，波士頓大學(xué)博士生、泰格馬克之妻美雅·赤塔-泰格馬克（Meia Chita-Tegmark）與加州大學(xué)圣克魯茲分校宇宙學(xué)家安東尼·阿吉雷等,。

FLI的外部顧問,，圖源：futureoflife.org

在本份倡議之前，生命未來研究所已經(jīng)對美國國家標(biāo)準(zhǔn)技術(shù)研究院 (NIST) 人工智能風(fēng)險(xiǎn)管理框架初稿進(jìn)行過反饋,?！?span id="a6otyhj" class="wpcom_tag_link">AI 風(fēng)險(xiǎn)管理框架” (AI RMF) 是2020 年美國國會已要求美國國家標(biāo)準(zhǔn)與技術(shù)研究院 (NIST) “為可信賴的人工智能系統(tǒng)開發(fā)自愿風(fēng)險(xiǎn)管理框架?！?/p>

生命未來研究所在對該項(xiàng)管理框架反饋中強(qiáng)調(diào)：在人工智能技術(shù)介入后,，信息提供者與信息接收者的新利益沖突。他們認(rèn)為通過人工智能技術(shù),，信息提供者有更大的機(jī)會和動機(jī),，以操縱信息接受者行為,。同時(shí)其在該份反饋中也明確表達(dá)了人工智能監(jiān)管缺乏風(fēng)險(xiǎn)預(yù)警的方法論。

截至發(fā)稿,，生命未來研究所的這份公開信已有1125人簽署。

值得一提的是,，提交公開信簽名需要經(jīng)過人工審核,，但這次的簽署人中短暫地出現(xiàn)了Open AI首席執(zhí)行官山姆·阿爾特曼 (Sam Altman) 的名字，后來又很快被移除,。本周也有消息傳出,，GPT-5已經(jīng)完成研發(fā)。山姆·阿爾特曼本人也并未對此事發(fā)表任何看法,。

部分響應(yīng)者名單

Yoshua Bengio

圖靈獎獲得者,，人工智能深度學(xué)習(xí)發(fā)展的奠基人

Steve Wozniak

蘋果聯(lián)合創(chuàng)始人

Andrew Yang

2020年美國總統(tǒng)大選候選人，暢銷書作家

John Hopfield

普林斯頓大學(xué)教授,，關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)的發(fā)明者

Yuval Noah Harari

以色列未來學(xué)家

《人類簡史》系列暢銷書的作者

Yoshua Bengio作為AI界的頂級專家在該份倡議書中第一位簽字,，此外他也是圖靈獎三巨頭中唯一一位至今仍然留在學(xué)術(shù)界的AI老炮。另外兩位分別為Geoffrey Hinton和Yann LeCun,。這三位是目前公認(rèn)的多層構(gòu)建深層網(wǎng)絡(luò)（之后被業(yè)界稱為“深度學(xué)習(xí)”）的重要推動者,。

這樣的倡議并非FLI的首個(gè)。早在《AI Magazine》2015年冬季號上,，Stuart Russell, Daniel Dewey, Max Tegmark等“生命未來研究所”的研究者公布了一份題為《邁向穩(wěn)健和有益人工智能的優(yōu)先考量研究方案》(Research Priorities for Robust and Benefcial Artifcial Intelligence) 的文章,，旨在提倡就方興未艾的人工智能技術(shù)對社會所造成的影響做認(rèn)真的調(diào)研。

《邁向穩(wěn)健和有益人工智能的優(yōu)先考量研究方案》,，圖源：futureoflife.org

據(jù)生命未來研究所網(wǎng)站介紹,，英國物理學(xué)家斯蒂芬·霍金和美國高科技企業(yè)家埃隆·馬斯克，以及許多其他的人工智能專家等八千多人在當(dāng)時(shí)簽署了這份關(guān)于人工智能的公開信,。

但本次公開信的倡議更加尖銳,，其所強(qiáng)調(diào)的重點(diǎn)終于落在了，人工智能系統(tǒng)具有與人類競爭的智能,，這可能對社會和人類造成深遠(yuǎn)的風(fēng)險(xiǎn),。

根據(jù)阿西洛馬人工智能原則指出，先進(jìn)的 AI 可能代表著地球生命歷史上的深刻變革,，應(yīng)該以相應(yīng)的關(guān)注和資源來計(jì)劃和管理,。但隨著最近幾個(gè)月 AI 實(shí)驗(yàn)室陷入一場無法控制的競賽，試圖開發(fā)和部署越來越強(qiáng)大的數(shù)字智能,，這種規(guī)劃和管理并未實(shí)現(xiàn),，甚至連它們的創(chuàng)造者也無法理解、預(yù)測或可靠地控制這些智能,。

本次倡議的核心觀點(diǎn)

1. 我們是否應(yīng)該讓機(jī)器用宣傳和謊言充斥我們的信息渠道,？

2. 我們應(yīng)該自動化所有的工作,？

3. 我們是否應(yīng)該發(fā)展最終可能超越我們、取代我們的非人類思維,？我們應(yīng)該冒險(xiǎn)失去對我們文明的控制嗎,？

對于這些重要的決定，公開信表示,，現(xiàn)代AI系統(tǒng)正逐漸在通用任務(wù)上實(shí)現(xiàn)與人類競爭的水平,，只有當(dāng)我們確信AI系統(tǒng)的影響是積極的，風(fēng)險(xiǎn)是可控的時(shí)候,，才應(yīng)該開發(fā)強(qiáng)大的AI系統(tǒng),。

此外，AI實(shí)驗(yàn)室和獨(dú)立專家應(yīng)該利用這個(gè)暫停期共同制定和實(shí)施一套共享的AI設(shè)計(jì)和開發(fā)安全協(xié)議,，這些協(xié)議應(yīng)由獨(dú)立的外部專家嚴(yán)格審核和監(jiān)督,，應(yīng)確保遵守它們的系統(tǒng)在合理懷疑范圍之外是安全的。這并不意味著暫停整個(gè)AI領(lǐng)域的發(fā)展,，而僅僅是從危險(xiǎn)的競賽中退一步,，避免研究更大、更難以預(yù)測,、具有突現(xiàn)性能力的黑箱模型,。

附公開信原文翻譯

原文鏈接：https://futureoflife.org/open-letter/pause-giant-ai-experiments/

正如廣泛的研究和頂級人工智能實(shí)驗(yàn)室所承認(rèn)的那樣，具有與人類媲美的智能的AI系統(tǒng)可能對社會和人類構(gòu)成深刻的風(fēng)險(xiǎn),。也正如被廣泛認(rèn)可的阿西洛馬人工智能原則所指出的那樣,，先進(jìn)的AI可能代表著地球生命歷史上的深刻變革，應(yīng)該以相應(yīng)的關(guān)注和資源來計(jì)劃和管理,。不幸的是,，盡管最近幾個(gè)月AI實(shí)驗(yàn)室正陷入一場無法控制的競賽，試圖開發(fā)和部署越來越強(qiáng)大的數(shù)字智能,，但這種規(guī)劃和管理并未實(shí)現(xiàn),，甚至連它們的創(chuàng)造者也無法理解、預(yù)測或可靠地控制這些智能,。

隨著當(dāng)代AI系統(tǒng)正逐漸在一般任務(wù)上實(shí)現(xiàn)與人類競爭的水平,，我們必須問自己：我們應(yīng)該讓機(jī)器充斥我們的信息渠道，散布宣傳和不實(shí)信息嗎,？我們應(yīng)該自動化所有工作,，包括那些令人有成就感的工作嗎？我們應(yīng)該發(fā)展可能最終比我們更多,、更聰明,、更先進(jìn)、能取代我們的非人類智能嗎,？我們應(yīng)該冒著失去對文明的控制的風(fēng)險(xiǎn)嗎,？這些決定不應(yīng)該被委托給未經(jīng)選舉的技術(shù)領(lǐng)袖,。只有當(dāng)我們確信AI系統(tǒng)的影響是積極的，其風(fēng)險(xiǎn)是可控的時(shí)候,，才應(yīng)該開發(fā)強(qiáng)大的AI系統(tǒng),。這種信心必須有充分的理由，并隨著系統(tǒng)潛在影響的增加而增加,。OpenAI最近關(guān)于人工智能的聲明指出：“在某個(gè)時(shí)候,，可能需要在開始訓(xùn)練未來系統(tǒng)之前獲得獨(dú)立審查，并要求最先進(jìn)的努力同意限制用于創(chuàng)建新模型的計(jì)算增長,。”我們對此表示同意?，F(xiàn)在就是那個(gè)時(shí)候,。

因此，我們呼吁所有AI實(shí)驗(yàn)室立即暫停至少6個(gè)月的時(shí)間,，停止訓(xùn)練比GPT-4更強(qiáng)大的AI系統(tǒng),。這個(gè)暫停應(yīng)該是公開和可驗(yàn)證的，并包括所有關(guān)鍵參與者,。如果這樣的暫停無法迅速實(shí)施,，政府應(yīng)該介入并實(shí)行一個(gè)暫停令。

AI實(shí)驗(yàn)室和獨(dú)立專家應(yīng)該利用這個(gè)暫停期共同制定和實(shí)施一套共享的AI設(shè)計(jì)和開發(fā)安全協(xié)議,，這些協(xié)議應(yīng)由獨(dú)立的外部專家嚴(yán)格審核和監(jiān)督,。這些協(xié)議應(yīng)確保遵守它們的系統(tǒng)在合理懷疑范圍之外是安全的。這并不意味著暫停整個(gè)AI領(lǐng)域的發(fā)展,，而僅僅是從危險(xiǎn)的競賽中退后一步,，避免研究更大、更難以預(yù)測,、具有突現(xiàn)性能力的黑箱模型,。

AI研究和發(fā)展應(yīng)該重新聚焦于使現(xiàn)有的強(qiáng)大、最先進(jìn)的系統(tǒng)更加準(zhǔn)確,、安全,、可解釋、透明,、穩(wěn)健,、一致、可信和忠誠,。

同時(shí),，AI開發(fā)人員必須與政策制定者合作，大力加速AI治理系統(tǒng)的發(fā)展,。這些治理系統(tǒng)至少應(yīng)包括：專門負(fù)責(zé)AI的新型和有能力的監(jiān)管機(jī)構(gòu),；對高能力AI系統(tǒng)和大量計(jì)算能力的監(jiān)督和跟蹤,；用于區(qū)分真實(shí)與合成內(nèi)容并跟蹤模型泄漏的來源和水印系統(tǒng)；強(qiáng)大的審計(jì)和認(rèn)證生態(tài)系統(tǒng),；對AI造成的損害承擔(dān)責(zé)任,；對技術(shù)AI安全研究的強(qiáng)大公共資金支持；以及應(yīng)對AI帶來的劇變（尤其是對民主制度）的經(jīng)濟(jì)和政治破壞的資源充足的機(jī)構(gòu),。

人類可以與AI共享一個(gè)美好的未來,。在成功創(chuàng)建強(qiáng)大的AI系統(tǒng)之后，我們現(xiàn)在可以享受一個(gè)“AI的夏天”,，在這個(gè)夏天里,，我們可以收獲成果，為所有人明確地造福,，并給社會一個(gè)適應(yīng)的機(jī)會,。我們的社會已經(jīng)在其他可能對社會產(chǎn)生災(zāi)難性影響的技術(shù)上按下了暫停鍵。我們在這里也可以做到,。讓我們享受一個(gè)漫長的AI之夏吧,，而不是毫無準(zhǔn)備地沖進(jìn)秋天。