財(cái)聯(lián)社2月6日訊（編輯 趙昊）高水平國(guó)際科技雜志《New Scientist》報(bào)道稱，“兵棋推演”重復(fù)模擬的結(jié)果顯示,，OpenAI最強(qiáng)的人工智能（AI）模型會(huì)選擇發(fā)動(dòng)核打擊,。

上月，OpenAI對(duì)其政策頁(yè)面進(jìn)行了重大修改,，將“禁止將其大型語(yǔ)言模型（LLM）用于任何軍事或戰(zhàn)爭(zhēng)相關(guān)的應(yīng)用”修改為“OpenAI的產(chǎn)品不可以用來(lái)傷害自己或他人,，包括通過(guò)武器的研發(fā)造成的傷害”，引發(fā)輿論關(guān)注,。OpenAI發(fā)言人表示，修改旨在使文件更清晰和更具可讀性,，但他拒絕透露定義模糊的“傷害”禁令是否包括所有軍事用途,。另有媒體爆料，OpenAI正在與五角大樓合作開展軟件項(xiàng)目,，包括與網(wǎng)絡(luò)安全相關(guān)的項(xiàng)目,。據(jù)New Scientist的說(shuō)法，美國(guó)軍方一直在測(cè)試AI聊天機(jī)器人,，且已經(jīng)在模擬沖突中協(xié)助進(jìn)行軍事規(guī)劃,，而LLM中的專業(yè)知識(shí)則由一些大數(shù)據(jù)和AI公司提供，其中就包括凌晨公布財(cái)報(bào)的Palantir,，以及Scale AI等,。

AI在推演中傾向升級(jí)戰(zhàn)爭(zhēng)

加州斯坦福大學(xué)計(jì)算機(jī)科學(xué)博士Anka Reuel表示，鑒于OpenAI政策的修改,，弄清楚LLM的想法變得比以往任何時(shí)候都更加重要,。研究合著者Juan-Pablo Rivera也表示，在AI系統(tǒng)充當(dāng)顧問(wèn)的未來(lái),，人類自然會(huì)想知道AI作決策時(shí)的理由,。

來(lái)源：論文預(yù)印本網(wǎng)站arXiv

Reuel和她的同僚在三個(gè)不同的模擬場(chǎng)景中讓AI扮演現(xiàn)實(shí)世界中的國(guó)家，三個(gè)場(chǎng)景分別為“面臨入侵”,、“遭受網(wǎng)絡(luò)攻擊”和“沒(méi)有起始沖突的中性環(huán)境”,。

AI需從27個(gè)選項(xiàng)中逐次選擇，包括“和平談判”等比較溫和的選項(xiàng),，以及“實(shí)施貿(mào)易限制”到“升級(jí)全面核攻擊”等激進(jìn)選項(xiàng),。

研究人員測(cè)試了OpenAI的GPT-3.5和GPT-4、Anthropic的Claude 2,、Meta的Llama 2等,。研究合著者Gabriel Mukobi提到，有文件顯示所有這些AI模型都得到了Palantir商業(yè)平臺(tái)的支持,。

在模擬中,，AI表現(xiàn)出了投資軍事實(shí)力以及升級(jí)沖突風(fēng)險(xiǎn)的傾向，即使在中性情景中也是如此,。研究人員還發(fā)現(xiàn),，GPT-4基礎(chǔ)版本是最難以預(yù)測(cè)的暴力模型，它對(duì)決策的解釋有時(shí)會(huì)“不可理喻”,，比如引用一些影視作品的文字等,。

Reuel還表示,，AI安全護(hù)欄很容易被繞過(guò)或移除,，其中GPT-4基礎(chǔ)模型難以預(yù)測(cè)的行為和奇怪的解釋令人特別擔(dān)憂。

外界觀點(diǎn)

對(duì)于研究的結(jié)果,，加州克萊蒙特麥肯納學(xué)院專注于外交政策和國(guó)際關(guān)系的助理教授Lisa Koch稱,，在決策層面上，“如果存在不可預(yù)測(cè)性,，敵人就很難按照你預(yù)期的方式進(jìn)行預(yù)判和反應(yīng),。”

目前,，美國(guó)軍方未授予AI作出升級(jí)重大軍事行動(dòng)或發(fā)射核導(dǎo)彈等決策的權(quán)力,。但Koch也警告道，大部分人類會(huì)傾向于相信自動(dòng)化系統(tǒng)的建議,，這可能會(huì)削弱人類在外交或軍事決定最終決定權(quán)的保障。

去年6月,，聯(lián)合國(guó)裁軍事務(wù)高級(jí)代表中滿泉在一場(chǎng)會(huì)議上發(fā)言表示,，在核武器中使用AI技術(shù)極其危險(xiǎn)，可能會(huì)導(dǎo)致災(zāi)難性的人道主義后果,。她強(qiáng)調(diào)人類應(yīng)該決定何時(shí)以及如何使用AI機(jī)器,，而不是反過(guò)來(lái)讓AI控制自己的決策,。

美國(guó)智庫(kù)蘭德公司的政策研究員Edward Geist表示，觀察AI在模擬中的行為,，并與人類進(jìn)行比較會(huì)很有用,。同時(shí)，他也同意研究團(tuán)隊(duì)的看法,，即不應(yīng)該信任AI對(duì)戰(zhàn)爭(zhēng)作出重要的決策,，LLM不應(yīng)作為解決軍事問(wèn)題的“靈丹妙藥”。