作者 | 周愚

編輯 | 鄧詠儀

人工智能巨大的潛在風(fēng)險(xiǎn)正在不斷浮現(xiàn)。在監(jiān)管腳步逼近之際,，如今美國的科技巨頭們,，不得不在激烈的AI競(jìng)賽中分神應(yīng)對(duì),。

美國時(shí)間8月7日,，微軟在其官網(wǎng)發(fā)文，公布了其內(nèi)部人工智能“紅隊(duì)”的相關(guān)細(xì)節(jié),。該團(tuán)隊(duì)于2018年正式成立,，由一群跨學(xué)科專家組成，目的是揭露人工智能系統(tǒng)存在的漏洞,。

這一舉措意在應(yīng)對(duì)如今的監(jiān)管要求,。7月下旬，包括微軟在內(nèi)的7家人工智能領(lǐng)域巨頭,，在白宮做出的集體承諾中就提及,，在發(fā)布AI模型之前，將對(duì)其進(jìn)行內(nèi)部和外部的安全測(cè)試,，即“紅隊(duì)測(cè)試”,。

“紅隊(duì)”,，就是指對(duì)模型進(jìn)行滲透測(cè)試的攻擊方。在AI的“紅隊(duì)測(cè)試”中,，AI作為防守方,，而紅隊(duì)成員則需要模擬現(xiàn)實(shí)世界中可能存在的對(duì)手及其工具、策略和過程,，對(duì)AI進(jìn)攻,，以識(shí)別風(fēng)險(xiǎn)并改進(jìn)系統(tǒng)的整體安全狀態(tài)。

具體而言,，微軟將AI紅隊(duì)的關(guān)鍵經(jīng)驗(yàn),，歸結(jié)為如下五點(diǎn)：

1. AI紅隊(duì)更具擴(kuò)張性：應(yīng)對(duì)的安全問題更多更復(fù)雜，還需要探索公平性問題,、有害內(nèi)容等,。

2. AI紅隊(duì)需要同時(shí)關(guān)注惡意和善意的使用者：除惡意對(duì)手會(huì)利用漏洞破壞AI系統(tǒng)，普通用戶在交互過程中也會(huì)產(chǎn)生問題和有害內(nèi)容,。

3. AI系統(tǒng)在不斷發(fā)展：AI系統(tǒng)的變化速度比傳統(tǒng)應(yīng)用更快,，需要進(jìn)行多輪紅隊(duì)測(cè)試，建立系統(tǒng)化,、自動(dòng)化的測(cè)量和監(jiān)測(cè)系統(tǒng),。

4. AI系統(tǒng)紅隊(duì)測(cè)試需要多次嘗試：生成式人工智能系統(tǒng)的結(jié)果是概率性的，因此可能需要多次嘗試,，才能發(fā)現(xiàn)問題,。

5. 減少AI問題需要深度防御：修復(fù)通過AI紅隊(duì)發(fā)現(xiàn)的故障需要深度防御方法，包括使用分類器標(biāo)記潛在的有害內(nèi)容,，使用元提示符指導(dǎo)行為以限制會(huì)話漂移等,。

來源：微軟

事實(shí)上,，“紅隊(duì)”并非是人工智能時(shí)代的新術(shù)語,，但AI紅隊(duì)在工作方式上與傳統(tǒng)紅隊(duì)卻有顯著差異。

“我們?cè)诖笮驼Z言模型上看到了一些新穎的攻擊——只需要一個(gè)滿嘴臟話的青少年,，或是一個(gè)使用瀏覽器的休閑用戶,，我們不想忽視它?！蔽④浫斯ぶ悄芗t隊(duì)創(chuàng)始人庫馬爾表示,。

“如果你只把人工智能紅隊(duì)看作傳統(tǒng)的紅隊(duì)，那可能還不夠,。不僅要考慮安全問題,，還要考慮負(fù)責(zé)任的人工智能問題。”庫馬爾表示,。不過,，他也承認(rèn)，提出這種區(qū)別需要時(shí)間,，AI紅隊(duì)的許多早期工作仍然與發(fā)布傳統(tǒng)的安全工具有關(guān),。

2020年10月，微軟與MITRE等合作伙伴共同開發(fā)并發(fā)布了對(duì)抗性機(jī)器學(xué)習(xí)威脅矩陣(Adversarial Machine Learning Threat Matrix),，供安全分析師檢測(cè),、響應(yīng)和修復(fù)AI威脅。同年,，微軟研發(fā)并開源了Counterfit——一項(xiàng)用于人工智能系統(tǒng)安全測(cè)試的自動(dòng)化工具,。

2021年，微軟發(fā)布了人工智能安全風(fēng)險(xiǎn)評(píng)估框架,，并對(duì)Counterfit進(jìn)行了更新,。

微軟還表示，在今年早些時(shí)候,，已經(jīng)將Counterfit集成到了MITRE工具中,，并與hug Face合作開發(fā)了一款人工智能的安全掃描儀，可在GitHub上獲取,。

微軟人工智能紅”的發(fā)展歷程,。來源：微軟