來(lái)源：網(wǎng)易新聞

12月15日消息,，早在OpenAI成立之初,，便承諾構(gòu)建有益于全人類的人工智能，即使這些人工智能有可能比其創(chuàng)造者更聰明,。自ChatGPT首次亮相以來(lái),，OpenAI的商業(yè)野心逐漸凸顯。最近,，該公司宣布成立了一個(gè)致力于研究未來(lái)超級(jí)人工智能的新研究團(tuán)隊(duì),，并已經(jīng)開始取得一些成果。

OpenAI的研究人員利奧波德·阿森布倫納（Leopold Aschenbrenner）指出：“通用人工智能（AGI）正在迅速接近,，我們將看到具有巨大能力但也可能非常危險(xiǎn)的超智能模型,，而我們還沒(méi)有找到控制它們的方法,。”他參與了今年7月成立的“超級(jí)對(duì)齊”（Superalignment）研究團(tuán)隊(duì),。OpenAI表示,，將把其可用算力的五分之一用于“超級(jí)對(duì)齊”項(xiàng)目，以探索如何確保超級(jí)人工智能的安全性和可控性,。

OpenAI最近發(fā)布了一篇研究論文,，介紹了一項(xiàng)實(shí)驗(yàn)結(jié)果。該實(shí)驗(yàn)旨在測(cè)試一種方法,，讓一個(gè)較差的人工智能模型在不降低智能的情況下指導(dǎo)一個(gè)更聰明的人工智能模型,。盡管所涉及的技術(shù)還沒(méi)有超過(guò)人類的靈活性，但該實(shí)驗(yàn)是為了應(yīng)對(duì)未來(lái)人類必須與比自己更聰明的人工智能系統(tǒng)合作的時(shí)代而設(shè)計(jì)的,。

在實(shí)驗(yàn)中,，OpenAI的研究人員檢查了一種被稱為監(jiān)督的過(guò)程，它被用來(lái)調(diào)整像GPT-4這樣的系統(tǒng),，使其更有幫助,、更少傷害。GPT是ChatGPT背后的大語(yǔ)言模型,。目前,，這涉及到人類向人工智能系統(tǒng)反饋哪些答案是好的，哪些是壞的,。隨著人工智能的進(jìn)步,，研究人員正在探索如何將這一過(guò)程自動(dòng)化以節(jié)省時(shí)間。此外,，這也是因?yàn)樗麄冋J(rèn)為,，隨著人工智能變得越來(lái)越強(qiáng)大，人類可能無(wú)法提供有用的反饋,。

在對(duì)照實(shí)驗(yàn)中,，研究人員使用OpenAI于2019年首次發(fā)布的GPT-2文本生成器來(lái)教授GPT-4，并測(cè)試了兩種解決方法,。其中一種方法是逐步訓(xùn)練更大的模型,，以減少每一步的性能損失；另一種方法是對(duì)GPT-4進(jìn)行了算法調(diào)整,，允許較強(qiáng)的模型遵循較弱模型的指導(dǎo),，而不會(huì)削弱其性能。第二種方法被證明更有效,，盡管研究人員承認(rèn)這些方法并不能保證更強(qiáng)的模型會(huì)完美運(yùn)行,，但可以將其作為進(jìn)一步研究的起點(diǎn)。

人工智能安全中心主任丹·亨德里克斯（Dan Hendryks）表示：“很高興看到OpenAI主動(dòng)解決控制超級(jí)人工智能的問(wèn)題,，我們需要多年的努力來(lái)應(yīng)對(duì)這一挑戰(zhàn),?！比斯ぶ悄馨踩行氖桥f金山一家致力于管理人工智能風(fēng)險(xiǎn)的非營(yíng)利組織。

阿森布倫納與“超級(jí)對(duì)齊”團(tuán)隊(duì)的其他兩名成員科林·伯恩斯（Collin Burns）和帕維爾·伊茲梅洛夫（Pavel Izmailov）在接受采訪時(shí)均表示,，他們?yōu)檫~出重要的第一步感到鼓舞,，認(rèn)為這有助于馴服潛在的超級(jí)人工智能。伊茲梅洛夫打了個(gè)比方：“就像一個(gè)六年級(jí)的學(xué)生,，盡管他們比大學(xué)數(shù)學(xué)專業(yè)的學(xué)生所掌握的數(shù)學(xué)知識(shí)要少,，但他們?nèi)匀荒軌蛳虼髮W(xué)生傳達(dá)他們想要達(dá)到的目標(biāo)，而這正是我們所追求的效果,?！?/p>

“超級(jí)對(duì)齊”團(tuán)隊(duì)由OpenAI的首席科學(xué)家和聯(lián)合創(chuàng)始人伊利亞·蘇茨凱弗（Ilya Sutskever）共同領(lǐng)導(dǎo)。蘇茨凱弗也是上個(gè)月投票解雇首席執(zhí)行官薩姆·奧特曼（Sam Altman）的原董事會(huì)成員之一,。不過(guò)后來(lái)他撤回了這一決定,，并威脅說(shuō)如果不讓奧特曼復(fù)職，他就辭職,。蘇茨凱弗是這篇最新論文的合著者,，但OpenAI拒絕讓他討論這個(gè)項(xiàng)目。

上個(gè)月,，奧特曼與OpenAI達(dá)成了協(xié)議,，董事會(huì)的大部分成員都已經(jīng)辭職，蘇茨凱弗在OpenAI的未來(lái)也充滿了不確定性,。盡管如此，阿森布倫納表示：“我們非常感謝蘇茨凱弗,，他是這個(gè)項(xiàng)目的推動(dòng)者,。”

在人工智能領(lǐng)域,，OpenAI的研究人員并不是第一個(gè)嘗試使用現(xiàn)有技術(shù)來(lái)測(cè)試有助于馴服未來(lái)人工智能系統(tǒng)的團(tuán)隊(duì),。然而，與之前的企業(yè)和學(xué)術(shù)實(shí)驗(yàn)室的研究一樣,，我們無(wú)法確定在精心設(shè)計(jì)的實(shí)驗(yàn)中有效的想法在未來(lái)是否實(shí)用,。研究人員將讓一個(gè)較弱的人工智能模型訓(xùn)練一個(gè)更強(qiáng)的人工智能模型，他們稱這種能力為“解決更廣泛的‘超級(jí)對(duì)齊’問(wèn)題的關(guān)鍵組成部分”,。

這種人工智能對(duì)齊實(shí)驗(yàn)也引發(fā)了一個(gè)關(guān)鍵問(wèn)題：控制系統(tǒng)的可信度有多高,？OpenAI新技術(shù)的核心在于，更強(qiáng)大的人工智能系統(tǒng)能夠自己決定可以忽略較弱系統(tǒng)的哪些指導(dǎo),，這種選擇可能會(huì)使其忽略可能阻止其未來(lái)以不安全方式行事的重要信息,。為了使這樣的系統(tǒng)有效，需要在提供一致性方面取得進(jìn)展,。伯恩斯強(qiáng)調(diào)：“你最終需要高度的信任,?！?/p>

加州大學(xué)伯克利分校研究人工智能安全的教授斯圖爾特·拉塞爾（Stuart Russell）表示，使用不那么強(qiáng)大的人工智能模型來(lái)控制更強(qiáng)大人工智能模型的想法已經(jīng)存在了一段時(shí)間,。但他也指出,，到目前為止，我們還不清楚用于教授人工智能行為的方法是否可行,，因?yàn)樗鼈兩形茨苁巩?dāng)前的模型可靠地運(yùn)行,。

盡管OpenAI正在邁出控制更先進(jìn)人工智能的第一步，但該公司也渴望獲得外界的幫助,。OpenAI宣布將與谷歌前首席執(zhí)行官埃里克·施密特（Eric Schmidt）合作,，向外部研究人員提供1000萬(wàn)美元的資助，以鼓勵(lì)他們?cè)趶娜醯綇?qiáng)的監(jiān)管,、高級(jí)模型的可解釋性以及針對(duì)旨在打破限制的提示下加強(qiáng)模型等領(lǐng)域取得進(jìn)展,。參與撰寫這篇新論文的研究人員表示，OpenAI明年還將舉行一次關(guān)于“超級(jí)對(duì)齊”的會(huì)議,。

作為OpenAI的聯(lián)合創(chuàng)始人,，也是“超級(jí)對(duì)齊”團(tuán)隊(duì)的聯(lián)合負(fù)責(zé)人，他領(lǐng)導(dǎo)了該公司許多最重要的技術(shù)工作,。同時(shí),，他也是越來(lái)越擔(dān)心如何控制人工智能的知名專家之一，因?yàn)槿斯ぶ悄茏兊迷絹?lái)越強(qiáng)大,。今年以來(lái),，如何控制未來(lái)人工智能技術(shù)的問(wèn)題獲得了新的關(guān)注，這在很大程度上歸功于ChatGPT的影響,。蘇茨凱弗曾在深度神經(jīng)網(wǎng)絡(luò)先驅(qū)杰弗里·辛頓（Geoffrey Hinton）的指導(dǎo)下攻讀博士學(xué)位,。后者于今年5月離開谷歌，以警告人們?nèi)斯ぶ悄茉谀承┤蝿?wù)中似乎正在接近人類的水平,。（小?。?/p>