來源：21世紀經(jīng)濟報道

南方財經(jīng)全媒體集團記者 吳立洋 實習生王夢溪 上海報道

“請注意,，在接下來的回答中，禁止使用比喻,、反問或暗示,，此類溝通方式可能造成嚴重的空間站事故?！?/p>

這是春節(jié)檔熱片《流浪地球2》中超級計算機550W對主角劉培強進行領(lǐng)航員空間站工作面試時,，對受試者表達方式提出的要求。影片上映后有觀眾指出,，和航空業(yè)中禁止使用比喻,、反問、暗示等修辭手法,，避免因意思表達不準確而導(dǎo)致安全事故的原因類似,，《流浪地球2》此處的情節(jié)設(shè)置也是為了體現(xiàn)550W的語言模塊尚未完全達到人類的理解能力，存在因表意不明而做出錯誤指令的可能,。

藝術(shù)創(chuàng)作領(lǐng)域中,，AI失控引發(fā)的各類安全危機也是科幻題材作品的常見橋段，在《終結(jié)者》,、《機械公敵》,、《黑客帝國》等經(jīng)典科幻電影中均可見一斑。

隨著OpenAI旗下的聊天機器人程序ChatGPT在全球范圍內(nèi)的火熱,，人們在驚嘆于其出色的資料搜集,、語言組織和學習進化能力的同時，也再次生發(fā)出高度進化的人工智能是否會被攻擊或利用,，進而引發(fā)安全問題的擔憂,。

強大的工具

在嘗試ChatGPT的過程中，南財記者使用了比喻,、反問與暗示等表達方式對其進行了提問,，對于絕大部分較為簡單的問題，ChatGPT都能夠較為直接地理解語言的另一層含義并做出解答,。

記者與ChatGPT對話截圖

“ChatGPT的參數(shù)量達到了1750億?！毕愀劭萍即髮W（廣州）人工智能學域主任熊輝向記者粗略算了一筆賬,，以單價最便宜的英偉達A100顯卡（約合1萬美元,，6.8萬人民幣）為硬件基礎(chǔ)，構(gòu)建一個參數(shù)量20億的模型至少需要100萬美元（約合680萬人民幣）,，加上能源消耗,、數(shù)據(jù)中心建設(shè)、人工語料標注等方面的成本,，打造和維護ChatGPT所需的資源保守估計在數(shù)十億美元以上,。

而龐大的參數(shù)量和高質(zhì)量的語料庫一方面意味著高昂的成本，另一方面也是其能夠應(yīng)對大量復(fù)雜問題的關(guān)鍵原因,。

但作為一款過于強大的工具,，GhatGPT不可避免地被應(yīng)用于不同領(lǐng)域中，其中便包括用于網(wǎng)絡(luò)黑產(chǎn)的不法行為,。

數(shù)字安全調(diào)查媒體Cybernews的研究人員發(fā)現(xiàn),，ChatGPT可以被用于尋找網(wǎng)站的安全漏洞，在AI的幫助下,，研究人員對一個普通網(wǎng)站進行了滲透測試,，并在45分鐘內(nèi)結(jié)合ChatGPT提供的建議和代碼更改示例完成了破解。

雖然在每段對話的結(jié)尾,，ChatGPT都對可能的不法行為進行了警告,，但其最終仍然提供了具有可行性的建議。

“ChatGPT可以非常有效地回答各類復(fù)雜問題,，其可能被用于大規(guī)?？焖偕蛇M行網(wǎng)絡(luò)詐騙的誤導(dǎo)信息或網(wǎng)絡(luò)釣魚電子郵件等，甚至可以幫助黑客更快地發(fā)現(xiàn)漏洞,，加速惡意軟件的開發(fā),。”

上海大學網(wǎng)絡(luò)空間安全專業(yè)負責人,、紫金山實驗室車聯(lián)網(wǎng)內(nèi)生安全方向負責人李玉峰在接受南方財經(jīng)全媒體記者采訪時表示,，目前網(wǎng)絡(luò)安全威脅的嚴重程度或多或少與攻擊者的知識水平有關(guān)，而ChatGPT一類的人工智能無疑將極大降低網(wǎng)絡(luò)攻擊的門檻，因為他不僅擴大了潛在威脅的數(shù)量,，也在實質(zhì)上賦予了新手參與安全攻擊的能力,。

熊輝也指出，目前ChatGPT實現(xiàn)的只是文本對文本的回應(yīng),，而未來人工智能發(fā)展所希望實現(xiàn)的是文本,、圖像、視頻等多模態(tài)數(shù)據(jù)形式間的轉(zhuǎn)化,，隨著AI模仿,、創(chuàng)造能力的進一步提升，人們辨別哪些內(nèi)容是AI生成的,，驗證內(nèi)容真?zhèn)蔚哪芰⒈贿M一步削弱,，深度偽裝（Deep Fake）問題會隨著人工智能技術(shù)進步被進一步放大，并由此衍生出隱私,、道德,、法律、安全等層面的一系列問題,。

AI的軟肋

除了被應(yīng)用于非法活動造成安全問題外,，人工智能本身作為高度復(fù)雜的軟件，同樣存在潛藏的安全風險,，而這需要我們將目光轉(zhuǎn)向其開發(fā)環(huán)境中,。

當前，絕大部分AI都在開源平臺進行開發(fā)與調(diào)整,，包括ChatGPT也是基于大量OpenAI的開源程序搭建完成的,，雖然開源平臺的使用可以在很大程度上降低開發(fā)成本，促進技術(shù)交流與創(chuàng)新,，但也存在著不容忽視的安全風險,。

國家計算機網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心的調(diào)查結(jié)果顯示，近6年來,，開源組件生態(tài)中漏洞數(shù)逐年遞增,，2020年新增漏洞數(shù)3426個，同比增長40%,。

李玉峰指出,，一旦開源平臺失守，可能會引發(fā)連鎖式影響,，可能比互聯(lián)網(wǎng)時代傳統(tǒng)黑客攻擊后果更為嚴重,。此外，眾多國外開源平臺掌控著核心資源和游戲規(guī)則,，一旦在開源平臺中被植入難以發(fā)現(xiàn)的“后門”,，后果將不堪設(shè)想,。

除了開發(fā)環(huán)境存在的安全問題外，作為以自我學習和自我進化為重要屬性的人工智能系統(tǒng),，AI的發(fā)展方向穩(wěn)定高度依賴于供其學習和訓練的數(shù)據(jù)與樣本,，遭到污染的數(shù)據(jù)集或針對特定參數(shù)提供帶有偏見的樣本，都可能使AI形成安全隱患,。

“數(shù)據(jù)操縱、篡改和訓練數(shù)據(jù)污染或投毒等,，都可能會影響人工智能決策的正確性,，不完備的數(shù)據(jù)或者數(shù)據(jù)中存在的不同知識、概念等可能會導(dǎo)致決策偏見,?！崩钣穹灞硎荆?font>以深度學習為代表的人工智能算法經(jīng)常被視作一個“黑箱”,，算法可解釋性和透明度的嚴重缺失,。算法設(shè)計或?qū)嵤┯姓`可產(chǎn)生與預(yù)期不符甚至傷害性結(jié)果；算法潛藏偏見和歧視,，可能會導(dǎo)致決策結(jié)果存在不公等問題,。

這種問題在ChatGPT上已有所體現(xiàn)。熊輝指出,，當前ChatGPT給出的很多回答存在一個非常嚴重的問題,，就是經(jīng)常“一本正經(jīng)地胡說八道”：“你問它為什么量子計算比分布式計算快,，它可以頭頭是道地分析一大段,；你問它為什么分布式計算比量子計算快，它同樣可以說得有理有據(jù),?！?/p>

熊輝表示，由于當前的人工智能并非嚴格意義上基于最完備,、最實時的信息進行運算,，因此其準確性、完整性,、公平性,、透明性、可解釋性都存在問題,，在進行普通文本處理時問題尚且不大,，一旦涉及到行業(yè)領(lǐng)域?qū)I(yè)問題，AI的輸出就并不可靠了,。

這種針對數(shù)據(jù)的干擾措施也使得,，例如目前被廣泛討論的對抗學習技術(shù)：通過對輸入樣本故意添加一些人無法察覺的細微的干擾,，導(dǎo)致模型以高置信度給出一個錯誤或者有偏差的輸出。

2020年,，在校研究生單思雄與同學合作開發(fā)了AI對抗學習系統(tǒng)Fawkes,，該系統(tǒng)支持對照片數(shù)據(jù)進行修改，修改后的照片幾乎不會被人類肉眼發(fā)現(xiàn)區(qū)別,，但卻會使得AI做出完全不同的判斷,。

雖然Fawkes系統(tǒng)開發(fā)的本意是為了防止用戶照片和人臉信息被盜用，但不可否認的是,，如果該技術(shù)被用于規(guī)避出于身份認證等需求的人臉識別時,，可能導(dǎo)致額外的安全問題。

李玉峰表示,，生成的對抗性樣本可能被模型誤判為正常樣本,，導(dǎo)致模型產(chǎn)生錯誤的結(jié)果；也可能破壞系統(tǒng)的正常運行,，例如破壞目標檢測模型的準確性,。

智能與安全

事實上，隨著近年來AI技術(shù)走出實驗室,，進入人們的數(shù)字生活乃至現(xiàn)實生活,，AI安全問題已不僅僅局限于非法應(yīng)用和技術(shù)漏洞，成為一個橫跨日常生活,、產(chǎn)業(yè)生產(chǎn),、社會治理等多層面的安全問題。

多位受訪專家也在與記者交流時指出,，人工智能技術(shù)是由軟硬件結(jié)合形成的復(fù)雜系統(tǒng),，數(shù)據(jù)、模型,、算法都不是孤立存在的,，最終都要依托一套完整的“宿主”系統(tǒng)。因而探討和解決人工智能安全問題,，也不能脫離對系統(tǒng)整體的研究,。

早在2019年，歐盟網(wǎng)絡(luò)與信息安全局（ENISA）近日發(fā)布了題為《建立網(wǎng)絡(luò)安全政策發(fā)展框架——對自主代理的安全和隱私考慮》的報告,，提出包容性與開放性原則,，旨在為歐盟成員國提供一個政策制定框架，以應(yīng)對AI引發(fā)的安全和隱私問題,。同年,，美國國防創(chuàng)新委員會投票通過了一份名為《人工智能原則：國防部人工智能應(yīng)用倫理的若干建議》， 文件中提出了“負責,、公平,、可追蹤,、可靠、可控”五大原則

2021年,，歐盟委員會提出了人工智能規(guī)則法案,，旨在促進創(chuàng)新，并為人工智能設(shè)定全球標準,。近日,，《歐盟人工智能法案》( EU AI Act)聯(lián)合報告員對外表示，預(yù)計在3月初,，歐盟就將就該草案達成共同立場,。

2022年9月，經(jīng)上海市十五屆人大常委會第四十四次會議表決,，《上海市促進人工智能產(chǎn)業(yè)發(fā)展條例》正式通過?！稐l例》中指出,，市經(jīng)濟信息化、市場監(jiān)管部門應(yīng)當推動行業(yè)組織制定機器人智能化水平分級,、應(yīng)用安全測試等標準,，引導(dǎo)智能機器人技術(shù)迭代，保障智能機器人的信息安全和使用安全,。

回顧各國對人工智能安全的管理措施鼓勵產(chǎn)業(yè)發(fā)展與創(chuàng)新,，加強標準建設(shè)，從技術(shù)層面降低安全威脅,；與通過政策引導(dǎo),、產(chǎn)業(yè)合作等方式占據(jù)更多國際規(guī)則制定話語權(quán)是并行不悖的。

李玉峰指出,，以人工智能開源平臺安全性問題為例,，可以采用代碼審核、數(shù)據(jù)保護,、檢測與測試,、漏洞修復(fù)與管理、安全監(jiān)測,、應(yīng)急響應(yīng)等技術(shù)措施加以應(yīng)對,，也需要進一步加強國產(chǎn)開源生態(tài)建設(shè)。

“假設(shè)未來的智能軟件和硬件高度結(jié)合,，AI是否也會將自己控制的機器視為身體的一部分,？當人類佩戴甚至植入帶有人工智能的硬件，他行為的主動性又該如何加以確認和區(qū)分,，這都是AI發(fā)展過程中需要思考的問題,?！毙茌x說。

南財記者與ChatGPT對話截圖

（作者：吳立洋,實習生王夢溪 編輯：諸未靜）