來源：網(wǎng)易新聞

12月15日消息,，早在OpenAI成立之初，便承諾構(gòu)建有益于全人類的人工智能,，即使這些人工智能有可能比其創(chuàng)造者更聰明,。自ChatGPT首次亮相以來，OpenAI的商業(yè)野心逐漸凸顯,。最近,，該公司宣布成立了一個(gè)致力于研究未來超級(jí)人工智能的新研究團(tuán)隊(duì)，并已經(jīng)開始取得一些成果,。

OpenAI的研究人員利奧波德·阿森布倫納（Leopold Aschenbrenner）指出：“通用人工智能（AGI）正在迅速接近,，我們將看到具有巨大能力但也可能非常危險(xiǎn)的超智能模型，而我們還沒有找到控制它們的方法,?！彼麉⑴c了今年7月成立的“超級(jí)對(duì)齊”（Superalignment）研究團(tuán)隊(duì)。OpenAI表示,，將把其可用算力的五分之一用于“超級(jí)對(duì)齊”項(xiàng)目,，以探索如何確保超級(jí)人工智能的安全性和可控性。

OpenAI最近發(fā)布了一篇研究論文,，介紹了一項(xiàng)實(shí)驗(yàn)結(jié)果,。該實(shí)驗(yàn)旨在測試一種方法,，讓一個(gè)較差的人工智能模型在不降低智能的情況下指導(dǎo)一個(gè)更聰明的人工智能模型。盡管所涉及的技術(shù)還沒有超過人類的靈活性,，但該實(shí)驗(yàn)是為了應(yīng)對(duì)未來人類必須與比自己更聰明的人工智能系統(tǒng)合作的時(shí)代而設(shè)計(jì)的,。

在實(shí)驗(yàn)中，OpenAI的研究人員檢查了一種被稱為監(jiān)督的過程,，它被用來調(diào)整像GPT-4這樣的系統(tǒng),，使其更有幫助、更少傷害,。GPT是ChatGPT背后的大語言模型,。目前，這涉及到人類向人工智能系統(tǒng)反饋哪些答案是好的,，哪些是壞的,。隨著人工智能的進(jìn)步，研究人員正在探索如何將這一過程自動(dòng)化以節(jié)省時(shí)間,。此外,，這也是因?yàn)樗麄冋J(rèn)為，隨著人工智能變得越來越強(qiáng)大,，人類可能無法提供有用的反饋,。

在對(duì)照實(shí)驗(yàn)中，研究人員使用OpenAI于2019年首次發(fā)布的GPT-2文本生成器來教授GPT-4,，并測試了兩種解決方法,。其中一種方法是逐步訓(xùn)練更大的模型，以減少每一步的性能損失,；另一種方法是對(duì)GPT-4進(jìn)行了算法調(diào)整,，允許較強(qiáng)的模型遵循較弱模型的指導(dǎo)，而不會(huì)削弱其性能,。第二種方法被證明更有效,，盡管研究人員承認(rèn)這些方法并不能保證更強(qiáng)的模型會(huì)完美運(yùn)行，但可以將其作為進(jìn)一步研究的起點(diǎn),。

人工智能安全中心主任丹·亨德里克斯（Dan Hendryks）表示：“很高興看到OpenAI主動(dòng)解決控制超級(jí)人工智能的問題,，我們需要多年的努力來應(yīng)對(duì)這一挑戰(zhàn)?！比斯ぶ悄馨踩行氖桥f金山一家致力于管理人工智能風(fēng)險(xiǎn)的非營利組織,。

阿森布倫納與“超級(jí)對(duì)齊”團(tuán)隊(duì)的其他兩名成員科林·伯恩斯（Collin Burns）和帕維爾·伊茲梅洛夫（Pavel Izmailov）在接受采訪時(shí)均表示，他們?yōu)檫~出重要的第一步感到鼓舞,，認(rèn)為這有助于馴服潛在的超級(jí)人工智能,。伊茲梅洛夫打了個(gè)比方：“就像一個(gè)六年級(jí)的學(xué)生，盡管他們比大學(xué)數(shù)學(xué)專業(yè)的學(xué)生所掌握的數(shù)學(xué)知識(shí)要少,，但他們?nèi)匀荒軌蛳虼髮W(xué)生傳達(dá)他們想要達(dá)到的目標(biāo),，而這正是我們所追求的效果,。”

“超級(jí)對(duì)齊”團(tuán)隊(duì)由OpenAI的首席科學(xué)家和聯(lián)合創(chuàng)始人伊利亞·蘇茨凱弗（Ilya Sutskever）共同領(lǐng)導(dǎo),。蘇茨凱弗也是上個(gè)月投票解雇首席執(zhí)行官薩姆·奧特曼（Sam Altman）的原董事會(huì)成員之一,。不過后來他撤回了這一決定，并威脅說如果不讓奧特曼復(fù)職,，他就辭職,。蘇茨凱弗是這篇最新論文的合著者，但OpenAI拒絕讓他討論這個(gè)項(xiàng)目,。

上個(gè)月,，奧特曼與OpenAI達(dá)成了協(xié)議，董事會(huì)的大部分成員都已經(jīng)辭職,，蘇茨凱弗在OpenAI的未來也充滿了不確定性,。盡管如此，阿森布倫納表示：“我們非常感謝蘇茨凱弗,，他是這個(gè)項(xiàng)目的推動(dòng)者,。”

在人工智能領(lǐng)域,，OpenAI的研究人員并不是第一個(gè)嘗試使用現(xiàn)有技術(shù)來測試有助于馴服未來人工智能系統(tǒng)的團(tuán)隊(duì),。然而，與之前的企業(yè)和學(xué)術(shù)實(shí)驗(yàn)室的研究一樣,，我們無法確定在精心設(shè)計(jì)的實(shí)驗(yàn)中有效的想法在未來是否實(shí)用。研究人員將讓一個(gè)較弱的人工智能模型訓(xùn)練一個(gè)更強(qiáng)的人工智能模型,，他們稱這種能力為“解決更廣泛的‘超級(jí)對(duì)齊’問題的關(guān)鍵組成部分”,。

這種人工智能對(duì)齊實(shí)驗(yàn)也引發(fā)了一個(gè)關(guān)鍵問題：控制系統(tǒng)的可信度有多高？OpenAI新技術(shù)的核心在于,，更強(qiáng)大的人工智能系統(tǒng)能夠自己決定可以忽略較弱系統(tǒng)的哪些指導(dǎo),，這種選擇可能會(huì)使其忽略可能阻止其未來以不安全方式行事的重要信息。為了使這樣的系統(tǒng)有效,，需要在提供一致性方面取得進(jìn)展,。伯恩斯強(qiáng)調(diào)：“你最終需要高度的信任?！?/p>

加州大學(xué)伯克利分校研究人工智能安全的教授斯圖爾特·拉塞爾（Stuart Russell）表示,，使用不那么強(qiáng)大的人工智能模型來控制更強(qiáng)大人工智能模型的想法已經(jīng)存在了一段時(shí)間。但他也指出,，到目前為止,，我們還不清楚用于教授人工智能行為的方法是否可行，因?yàn)樗鼈兩形茨苁巩?dāng)前的模型可靠地運(yùn)行,。

盡管OpenAI正在邁出控制更先進(jìn)人工智能的第一步,，但該公司也渴望獲得外界的幫助,。OpenAI宣布將與谷歌前首席執(zhí)行官埃里克·施密特（Eric Schmidt）合作，向外部研究人員提供1000萬美元的資助,，以鼓勵(lì)他們在從弱到強(qiáng)的監(jiān)管,、高級(jí)模型的可解釋性以及針對(duì)旨在打破限制的提示下加強(qiáng)模型等領(lǐng)域取得進(jìn)展。參與撰寫這篇新論文的研究人員表示,，OpenAI明年還將舉行一次關(guān)于“超級(jí)對(duì)齊”的會(huì)議,。

作為OpenAI的聯(lián)合創(chuàng)始人，也是“超級(jí)對(duì)齊”團(tuán)隊(duì)的聯(lián)合負(fù)責(zé)人,，他領(lǐng)導(dǎo)了該公司許多最重要的技術(shù)工作,。同時(shí)，他也是越來越擔(dān)心如何控制人工智能的知名專家之一,，因?yàn)槿斯ぶ悄茏兊迷絹碓綇?qiáng)大,。今年以來，如何控制未來人工智能技術(shù)的問題獲得了新的關(guān)注,，這在很大程度上歸功于ChatGPT的影響,。蘇茨凱弗曾在深度神經(jīng)網(wǎng)絡(luò)先驅(qū)杰弗里·辛頓（Geoffrey Hinton）的指導(dǎo)下攻讀博士學(xué)位。后者于今年5月離開谷歌,，以警告人們?nèi)斯ぶ悄茉谀承┤蝿?wù)中似乎正在接近人類的水平,。（小小）