人類正在進(jìn)入生成式 AI 新時(shí)代,。而 OpenAI 在引導(dǎo)新技術(shù)朝著符合人類價(jià)值觀和安全標(biāo)準(zhǔn)的方向所做的努力,，也被視為行業(yè)的路標(biāo)。

原文來源：機(jī)器之能

圖片來源：由無界 AI生成

還記得 Sam Altman 回歸 OpenAI 時(shí)提到的「三個(gè)當(dāng)務(wù)之急」嗎？

首當(dāng)其沖的就是險(xiǎn)些將他踢出公司的安全問題?，F(xiàn)在,，OpenAI ?正力圖系統(tǒng)化他們的安全思維,。

「我們的準(zhǔn)備團(tuán)隊(duì)正在開展開創(chuàng)性工作,，將安全發(fā)展成為一門定量科學(xué)?！?OpenAI 總裁 Greg Brockman 在社交平臺上表示,。

本周一,，公司在其網(wǎng)站上公布的一項(xiàng)計(jì)劃,，制定了一個(gè)框架來解決其最先進(jìn)模型的安全性問題。

公司表示,，只有在網(wǎng)絡(luò)安全和核威脅等特定領(lǐng)域被認(rèn)為安全的情況下才會部署其最新技術(shù),。

另外，他們還成立了一個(gè)咨詢小組,，負(fù)責(zé)審查安全報(bào)告,，并將其發(fā)送給公司的高管和董事會。雖然高管會有權(quán)決策,，但董事會可以推翻這些決定,。

自一年前 ChatGPT 推出以來，AI 的潛在危險(xiǎn)一直是 AI 研究人員和公眾的頭等大事,。生成式 AI 讓用戶眼花繚亂的同時(shí),，也因其傳播虛假信息等問題而引發(fā)安全擔(dān)憂。

今年 4 月,，一群行業(yè)領(lǐng)袖和專家簽署了一封公開信,，呼吁暫停開發(fā)比 OpenAI 的 GPT-4 更強(qiáng)大的系統(tǒng)六個(gè)月，理由是對社會的潛在風(fēng)險(xiǎn),。路透社/益普索（Ipsos） 5 月的一項(xiàng)民意調(diào)查發(fā)現(xiàn),，超過三分之二的美國人擔(dān)心 AI 可能產(chǎn)生的負(fù)面影響,，61% 的人認(rèn)為它可能威脅到文明。

5 月,，包括 CEO Sam Altman,、首席科學(xué)家 Ilya Sutskever 和 CTO Mira Murati 在內(nèi)的 OpenAI 領(lǐng)導(dǎo)層與其他 AI 專家簽署了一封信，優(yōu)先考慮解決先進(jìn) AI 模型的風(fēng)險(xiǎn),。

7 月,，OpenAI 成立 Superalignment 團(tuán)隊(duì)，為 「超級智能」模型提供理論指南,。

９月,，OpenAI 宣布推出紅隊(duì)網(wǎng)絡(luò)（Red Teaming Network）,，并邀請各領(lǐng)域?qū)＜壹尤?，以提高其模型的安全性?/p>

一個(gè)月前，OpenAI 對外稱計(jì)劃成立一個(gè)叫 Prepareness 的團(tuán)隊(duì),，監(jiān)督前沿技術(shù)的災(zāi)難性風(fēng)險(xiǎn),。該團(tuán)隊(duì)將由 MIT 可部署機(jī)器學(xué)習(xí)中心主任 Aleksander Madry 領(lǐng)導(dǎo)。

本周一,，OpenAI 正式宣布 Preparedness 成立,，并介紹了 ?Prepareness 團(tuán)隊(duì)的工作流程——第一代「準(zhǔn)備框架」，旨在「為識別,、分析和如何處理正在開發(fā)的模型固有的『災(zāi)難性』風(fēng)險(xiǎn)提供一條清晰的路徑,。」

所謂「災(zāi)難性」風(fēng)險(xiǎn),，「是指任何可能導(dǎo)致數(shù)千億美元經(jīng)濟(jì)損失或?qū)е略S多人嚴(yán)重傷害或死亡的風(fēng)險(xiǎn)——這包括但不限于生存風(fēng)險(xiǎn),。」

根據(jù)框架設(shè)計(jì),，針對開發(fā)中的前沿模型,，將由「準(zhǔn)備（ Prepareness ?)」團(tuán)隊(duì)負(fù)責(zé)模型發(fā)布之前識別和量化風(fēng)險(xiǎn)。

準(zhǔn)備團(tuán)隊(duì)也將與現(xiàn)有的安全系統(tǒng)團(tuán)隊(duì),、超級對齊團(tuán)隊(duì)以及其他安全政策團(tuán)隊(duì)密切合作,。

其中，安全系統(tǒng)團(tuán)隊(duì)負(fù)責(zé)現(xiàn)有模型的安全問題,。比如,，針對 ChatGPT 的系統(tǒng)性濫用，可以通過 API 限制或調(diào)整來緩解,。

「超級對齊」團(tuán)隊(duì)正在研究「超級智能」模型的理論指南,。

在此之前，這三個(gè)部門的職能都統(tǒng)一在信任和安全部,。不過,，后者的主管 Dave Willner 已經(jīng)于今年 7 月辭職,。

針對既有的,、更前沿的和（更遠(yuǎn)的）超級智能模型,，分別有三個(gè)團(tuán)隊(duì)負(fù)責(zé)其安全風(fēng)險(xiǎn)的識別和報(bào)告。

具體的評估方法將采用記分卡制度,。準(zhǔn)備團(tuán)隊(duì)會評估并不斷更新模型的「記分卡」,，出具詳細(xì)報(bào)告。

記分卡的樣子

我們可以看到記分卡上,，抽象的「災(zāi)難性風(fēng)險(xiǎn)」被進(jìn)一步量化為四個(gè)類別的風(fēng)險(xiǎn)：

網(wǎng)絡(luò)安全、說服力（例如,，虛假信息）、模型自主性和 CBRN（化學(xué),、生物,、放射性和核威脅,，比如，創(chuàng)造新的病原體）,。

針對每一類風(fēng)險(xiǎn),，記分卡設(shè)定了四個(gè)風(fēng)險(xiǎn)級別（低、中,、高和關(guān)鍵）,，并記錄采取應(yīng)對措施前后的風(fēng)險(xiǎn)得分。

采取應(yīng)對措施后（ post-mitigation ）得分為「中」或更低的模型才有資格部署,。例如，會對制造毒品或炸彈的過程保持沉默,。

采取應(yīng)對措施后,，如果模型仍被評估為「高」風(fēng)險(xiǎn)，將不能得到部署,，但還能進(jìn)一步研發(fā),。

如果模型存在任何嚴(yán)重（「關(guān)鍵」）風(fēng)險(xiǎn),，公司不會進(jìn)一步開發(fā)該模型。

采取應(yīng)對措施前,，風(fēng)險(xiǎn)為嚴(yán)重（「關(guān)鍵」）的模型,，會被量身定制額外的安全措施。

為了探求極限情況下的風(fēng)險(xiǎn)邊界,，評估所有前沿模型時(shí)會包括在訓(xùn)練運(yùn)行期間每增加 2 倍的有效計(jì)算量,。

采取應(yīng)對措施后得分為前兩者的模型,，才有部署的資格,。

在日常運(yùn)營方面，準(zhǔn)備小組負(fù)責(zé)技術(shù)工作,，包括檢查前沿模型能力的局限性,、評估并撰寫報(bào)告。

考慮到制作這些模型的人不一定是評估模型和提出建議的最佳人選,，OpenAI 正在組建一個(gè)「跨職能的安全咨詢小組（ SAG ,，設(shè)有主席一職）」。該小組將從技術(shù)層面審查研究人員的報(bào)告,，并從更高的角度提出建議（比如，建議減輕風(fēng)險(xiǎn)的應(yīng)對方法）,。

OpenAI 希望這一設(shè)置有助于發(fā)現(xiàn)一些「未知的未知」（盡管從本質(zhì)上來說,，這些是相當(dāng)難以捕捉的。） SAG 成員（包括負(fù)責(zé)人）將由 OpenAI 領(lǐng)導(dǎo)層任命,。

根據(jù) Altman 回歸公司時(shí)發(fā)布的公開信,，「我會和 Mira 一起做這件事（指安全問題——編輯注），」　我們推測這里的領(lǐng)導(dǎo)層應(yīng)該是指 CEO Sam Altman 和 CTO Mira Murati ,。

同時(shí),，該安全咨詢小組也會將這些（審查和建議）發(fā)送給領(lǐng)導(dǎo)層和董事會。雖然領(lǐng)導(dǎo)層是決策者,，但董事會擁有推翻決策的權(quán)利,。

不過,，外界也不是沒有疑問,。

假如 OpenAI 真開發(fā)了一個(gè)模型且具有「關(guān)鍵」風(fēng)險(xiǎn)， 過去那個(gè)非盈利組織 OpenAI 并不羞于對此類事情大肆宣揚(yáng)——談?wù)撍麄兊哪Ｐ陀卸嗝磸?qiáng)大,，以至于他們拒絕發(fā)布它們,，但今非昔比。

姑且不論由管理層任命的安全咨詢成員在關(guān)鍵時(shí)刻有多大概率站在所謂的對立面,，如果真有專家小組提出建議（就像之前直言不諱,、然后被罷免的獨(dú)立董事那樣）,，而 CEO 依然決定部署模型，新的董事果真敢于推翻領(lǐng)導(dǎo)層的決定,、踩下剎車嗎,？

就算他們這樣做了，外界會聽到真實(shí)的聲音嗎,？除非 OpenAI 將征求獨(dú)立第三方審計(jì),，否則，外界很難認(rèn)為 OpenAI 真正解決了透明度和安全問題,。

參考鏈接
https://cdn.openai.com/openai-preparedness-framework-beta.pdf
https://openai.com/safety/preparedness