圖源：視覺中國

文/福布斯中國

數(shù)千名科技界專家聯(lián)合簽署了一份由生命未來研究所（Future of Life）發(fā)起的“暫停巨型人工智能實驗”的公開信,。

響應名單包括特斯拉和推特的首席執(zhí)行官埃隆·馬斯克 (Elon Musk) 、蘋果聯(lián)合創(chuàng)始人斯蒂夫·沃茲尼亞克 (Stephen Wozniak) 、蒙特利爾學習算法研究所所長約書亞·本吉奧 (Yoshua Bengio) 等業(yè)界大佬,。

這封公開信呼吁所有人工智能實驗室立即暫停比GPT-4更強大的人工智能系統(tǒng)的訓練,，暫停時間至少為6個月,，并建議如果不暫停，應該政府強制暫停,。

在經歷了9個月指數(shù)級進步后,，人工智能行業(yè)選擇主動剎車，或許并非是因為它已經創(chuàng)造了社會矛盾,，而是它在商業(yè)化普及后可能會帶來的更大未知,。

該公開信簽名的發(fā)起方，生命未來研究所（Future of Life Institute,，F(xiàn)LI）是一家位于美國波士頓地區(qū)的研究與推廣機構,，創(chuàng)立于2014年3月，以“引導變革性技術造福生活,，遠離極端的大規(guī)模風險”為使命,。FLI致力于降低人類所面臨的風險，目前主要關注人工智能,、生物技術,、核武器以及氣候變化這四個議題。

該機構創(chuàng)始人包含麻省理工學院宇宙學家馬克斯·泰格馬克,，Skype聯(lián)合創(chuàng)始人讓·塔林,，哈佛大學博士生維多利亞·克拉科夫那（Viktoriya Krakovna），波士頓大學博士生,、泰格馬克之妻美雅·赤塔-泰格馬克（Meia Chita-Tegmark）與加州大學圣克魯茲分校宇宙學家安東尼·阿吉雷等,。

FLI的外部顧問，圖源：futureoflife.org

在本份倡議之前,，生命未來研究所已經對美國國家標準技術研究院 (NIST) 人工智能風險管理框架初稿進行過反饋,。“AI 風險管理框架” (AI RMF) 是2020 年美國國會已要求美國國家標準與技術研究院 (NIST) “為可信賴的人工智能系統(tǒng)開發(fā)自愿風險管理框架,?！?/p>

生命未來研究所在對該項管理框架反饋中強調：在人工智能技術介入后，信息提供者與信息接收者的新利益沖突,。他們認為通過人工智能技術,，信息提供者有更大的機會和動機，以操縱信息接受者行為,。同時其在該份反饋中也明確表達了人工智能監(jiān)管缺乏風險預警的方法論,。

截至發(fā)稿,，生命未來研究所的這份公開信已有1125人簽署。

值得一提的是,，提交公開信簽名需要經過人工審核,，但這次的簽署人中短暫地出現(xiàn)了Open AI首席執(zhí)行官山姆·阿爾特曼 (Sam Altman) 的名字，后來又很快被移除,。本周也有消息傳出,，GPT-5已經完成研發(fā)。山姆·阿爾特曼本人也并未對此事發(fā)表任何看法,。

部分響應者名單

Yoshua Bengio

圖靈獎獲得者,，人工智能深度學習發(fā)展的奠基人

Steve Wozniak

蘋果聯(lián)合創(chuàng)始人

Andrew Yang

2020年美國總統(tǒng)大選候選人，暢銷書作家

John Hopfield

普林斯頓大學教授,，關聯(lián)神經網絡的發(fā)明者

Yuval Noah Harari

以色列未來學家

《人類簡史》系列暢銷書的作者

Yoshua Bengio作為AI界的頂級專家在該份倡議書中第一位簽字,，此外他也是圖靈獎三巨頭中唯一一位至今仍然留在學術界的AI老炮。另外兩位分別為Geoffrey Hinton和Yann LeCun,。這三位是目前公認的多層構建深層網絡（之后被業(yè)界稱為“深度學習”）的重要推動者,。

這樣的倡議并非FLI的首個。早在《AI Magazine》2015年冬季號上,，Stuart Russell, Daniel Dewey, Max Tegmark等“生命未來研究所”的研究者公布了一份題為《邁向穩(wěn)健和有益人工智能的優(yōu)先考量研究方案》(Research Priorities for Robust and Benefcial Artifcial Intelligence) 的文章,，旨在提倡就方興未艾的人工智能技術對社會所造成的影響做認真的調研。

《邁向穩(wěn)健和有益人工智能的優(yōu)先考量研究方案》,，圖源：futureoflife.org

據生命未來研究所網站介紹,，英國物理學家斯蒂芬·霍金和美國高科技企業(yè)家埃隆·馬斯克，以及許多其他的人工智能專家等八千多人在當時簽署了這份關于人工智能的公開信,。

但本次公開信的倡議更加尖銳,，其所強調的重點終于落在了，人工智能系統(tǒng)具有與人類競爭的智能,，這可能對社會和人類造成深遠的風險,。

根據阿西洛馬人工智能原則指出，先進的 AI 可能代表著地球生命歷史上的深刻變革,，應該以相應的關注和資源來計劃和管理,。但隨著最近幾個月 AI 實驗室陷入一場無法控制的競賽，試圖開發(fā)和部署越來越強大的數(shù)字智能,，這種規(guī)劃和管理并未實現(xiàn)，甚至連它們的創(chuàng)造者也無法理解,、預測或可靠地控制這些智能,。

本次倡議的核心觀點

1. 我們是否應該讓機器用宣傳和謊言充斥我們的信息渠道？

2. 我們應該自動化所有的工作,？

3. 我們是否應該發(fā)展最終可能超越我們,、取代我們的非人類思維,？我們應該冒險失去對我們文明的控制嗎？

對于這些重要的決定,，公開信表示,，現(xiàn)代AI系統(tǒng)正逐漸在通用任務上實現(xiàn)與人類競爭的水平，只有當我們確信AI系統(tǒng)的影響是積極的,，風險是可控的時候,，才應該開發(fā)強大的AI系統(tǒng)。

此外,，AI實驗室和獨立專家應該利用這個暫停期共同制定和實施一套共享的AI設計和開發(fā)安全協(xié)議,，這些協(xié)議應由獨立的外部專家嚴格審核和監(jiān)督，應確保遵守它們的系統(tǒng)在合理懷疑范圍之外是安全的,。這并不意味著暫停整個AI領域的發(fā)展,，而僅僅是從危險的競賽中退一步，避免研究更大,、更難以預測,、具有突現(xiàn)性能力的黑箱模型。

附公開信原文翻譯

原文鏈接：https://futureoflife.org/open-letter/pause-giant-ai-experiments/

正如廣泛的研究和頂級人工智能實驗室所承認的那樣,，具有與人類媲美的智能的AI系統(tǒng)可能對社會和人類構成深刻的風險,。也正如被廣泛認可的阿西洛馬人工智能原則所指出的那樣，先進的AI可能代表著地球生命歷史上的深刻變革,，應該以相應的關注和資源來計劃和管理,。不幸的是，盡管最近幾個月AI實驗室正陷入一場無法控制的競賽,，試圖開發(fā)和部署越來越強大的數(shù)字智能,，但這種規(guī)劃和管理并未實現(xiàn)，甚至連它們的創(chuàng)造者也無法理解,、預測或可靠地控制這些智能,。

隨著當代AI系統(tǒng)正逐漸在一般任務上實現(xiàn)與人類競爭的水平，我們必須問自己：我們應該讓機器充斥我們的信息渠道,，散布宣傳和不實信息嗎,？我們應該自動化所有工作，包括那些令人有成就感的工作嗎,？我們應該發(fā)展可能最終比我們更多,、更聰明、更先進,、能取代我們的非人類智能嗎,？我們應該冒著失去對文明的控制的風險嗎？這些決定不應該被委托給未經選舉的技術領袖。只有當我們確信AI系統(tǒng)的影響是積極的,，其風險是可控的時候,，才應該開發(fā)強大的AI系統(tǒng)。這種信心必須有充分的理由,，并隨著系統(tǒng)潛在影響的增加而增加,。OpenAI最近關于人工智能的聲明指出：“在某個時候，可能需要在開始訓練未來系統(tǒng)之前獲得獨立審查,，并要求最先進的努力同意限制用于創(chuàng)建新模型的計算增長,。”我們對此表示同意?，F(xiàn)在就是那個時候,。

因此，我們呼吁所有AI實驗室立即暫停至少6個月的時間,，停止訓練比GPT-4更強大的AI系統(tǒng),。這個暫停應該是公開和可驗證的，并包括所有關鍵參與者,。如果這樣的暫停無法迅速實施,，政府應該介入并實行一個暫停令。

AI實驗室和獨立專家應該利用這個暫停期共同制定和實施一套共享的AI設計和開發(fā)安全協(xié)議,，這些協(xié)議應由獨立的外部專家嚴格審核和監(jiān)督,。這些協(xié)議應確保遵守它們的系統(tǒng)在合理懷疑范圍之外是安全的。這并不意味著暫停整個AI領域的發(fā)展,，而僅僅是從危險的競賽中退后一步,，避免研究更大、更難以預測,、具有突現(xiàn)性能力的黑箱模型,。

AI研究和發(fā)展應該重新聚焦于使現(xiàn)有的強大、最先進的系統(tǒng)更加準確,、安全,、可解釋、透明,、穩(wěn)健,、一致、可信和忠誠,。

同時,，AI開發(fā)人員必須與政策制定者合作，大力加速AI治理系統(tǒng)的發(fā)展,。這些治理系統(tǒng)至少應包括：專門負責AI的新型和有能力的監(jiān)管機構,；對高能力AI系統(tǒng)和大量計算能力的監(jiān)督和跟蹤,；用于區(qū)分真實與合成內容并跟蹤模型泄漏的來源和水印系統(tǒng)；強大的審計和認證生態(tài)系統(tǒng),；對AI造成的損害承擔責任；對技術AI安全研究的強大公共資金支持,；以及應對AI帶來的劇變（尤其是對民主制度）的經濟和政治破壞的資源充足的機構,。

人類可以與AI共享一個美好的未來。在成功創(chuàng)建強大的AI系統(tǒng)之后,，我們現(xiàn)在可以享受一個“AI的夏天”,，在這個夏天里，我們可以收獲成果,，為所有人明確地造福,，并給社會一個適應的機會。我們的社會已經在其他可能對社會產生災難性影響的技術上按下了暫停鍵,。我們在這里也可以做到,。讓我們享受一個漫長的AI之夏吧，而不是毫無準備地沖進秋天,。