來源：21世紀(jì)經(jīng)濟(jì)報(bào)道

南方財(cái)經(jīng)全媒體集團(tuán)記者 吳立洋 實(shí)習(xí)生王夢(mèng)溪 上海報(bào)道

“請(qǐng)注意,，在接下來的回答中，禁止使用比喻,、反問或暗示,，此類溝通方式可能造成嚴(yán)重的空間站事故?！?/p>

這是春節(jié)檔熱片《流浪地球2》中超級(jí)計(jì)算機(jī)550W對(duì)主角劉培強(qiáng)進(jìn)行領(lǐng)航員空間站工作面試時(shí),，對(duì)受試者表達(dá)方式提出的要求。影片上映后有觀眾指出,，和航空業(yè)中禁止使用比喻,、反問、暗示等修辭手法,，避免因意思表達(dá)不準(zhǔn)確而導(dǎo)致安全事故的原因類似,，《流浪地球2》此處的情節(jié)設(shè)置也是為了體現(xiàn)550W的語言模塊尚未完全達(dá)到人類的理解能力，存在因表意不明而做出錯(cuò)誤指令的可能,。

藝術(shù)創(chuàng)作領(lǐng)域中,，AI失控引發(fā)的各類安全危機(jī)也是科幻題材作品的常見橋段，在《終結(jié)者》,、《機(jī)械公敵》,、《黑客帝國(guó)》等經(jīng)典科幻電影中均可見一斑。

隨著OpenAI旗下的聊天機(jī)器人程序ChatGPT在全球范圍內(nèi)的火熱,，人們?cè)隗@嘆于其出色的資料搜集,、語言組織和學(xué)習(xí)進(jìn)化能力的同時(shí)，也再次生發(fā)出高度進(jìn)化的人工智能是否會(huì)被攻擊或利用,，進(jìn)而引發(fā)安全問題的擔(dān)憂,。

強(qiáng)大的工具

在嘗試ChatGPT的過程中，南財(cái)記者使用了比喻,、反問與暗示等表達(dá)方式對(duì)其進(jìn)行了提問,，對(duì)于絕大部分較為簡(jiǎn)單的問題，ChatGPT都能夠較為直接地理解語言的另一層含義并做出解答,。

記者與ChatGPT對(duì)話截圖

“ChatGPT的參數(shù)量達(dá)到了1750億?！毕愀劭萍即髮W(xué)（廣州）人工智能學(xué)域主任熊輝向記者粗略算了一筆賬,，以單價(jià)最便宜的英偉達(dá)A100顯卡（約合1萬美元,，6.8萬人民幣）為硬件基礎(chǔ),，構(gòu)建一個(gè)參數(shù)量20億的模型至少需要100萬美元（約合680萬人民幣），加上能源消耗,、數(shù)據(jù)中心建設(shè),、人工語料標(biāo)注等方面的成本,，打造和維護(hù)ChatGPT所需的資源保守估計(jì)在數(shù)十億美元以上,。

而龐大的參數(shù)量和高質(zhì)量的語料庫(kù)一方面意味著高昂的成本，另一方面也是其能夠應(yīng)對(duì)大量復(fù)雜問題的關(guān)鍵原因,。

但作為一款過于強(qiáng)大的工具,，GhatGPT不可避免地被應(yīng)用于不同領(lǐng)域中，其中便包括用于網(wǎng)絡(luò)黑產(chǎn)的不法行為,。

數(shù)字安全調(diào)查媒體Cybernews的研究人員發(fā)現(xiàn),，ChatGPT可以被用于尋找網(wǎng)站的安全漏洞,，在AI的幫助下,，研究人員對(duì)一個(gè)普通網(wǎng)站進(jìn)行了滲透測(cè)試，并在45分鐘內(nèi)結(jié)合ChatGPT提供的建議和代碼更改示例完成了破解,。

雖然在每段對(duì)話的結(jié)尾,，ChatGPT都對(duì)可能的不法行為進(jìn)行了警告,，但其最終仍然提供了具有可行性的建議,。

“ChatGPT可以非常有效地回答各類復(fù)雜問題，其可能被用于大規(guī)?？焖偕蛇M(jìn)行網(wǎng)絡(luò)詐騙的誤導(dǎo)信息或網(wǎng)絡(luò)釣魚電子郵件等,，甚至可以幫助黑客更快地發(fā)現(xiàn)漏洞，加速惡意軟件的開發(fā),。”

上海大學(xué)網(wǎng)絡(luò)空間安全專業(yè)負(fù)責(zé)人,、紫金山實(shí)驗(yàn)室車聯(lián)網(wǎng)內(nèi)生安全方向負(fù)責(zé)人李玉峰在接受南方財(cái)經(jīng)全媒體記者采訪時(shí)表示，目前網(wǎng)絡(luò)安全威脅的嚴(yán)重程度或多或少與攻擊者的知識(shí)水平有關(guān),，而ChatGPT一類的人工智能無疑將極大降低網(wǎng)絡(luò)攻擊的門檻,，因?yàn)樗粌H擴(kuò)大了潛在威脅的數(shù)量，也在實(shí)質(zhì)上賦予了新手參與安全攻擊的能力,。

熊輝也指出,，目前ChatGPT實(shí)現(xiàn)的只是文本對(duì)文本的回應(yīng),，而未來人工智能發(fā)展所希望實(shí)現(xiàn)的是文本,、圖像、視頻等多模態(tài)數(shù)據(jù)形式間的轉(zhuǎn)化,，隨著AI模仿,、創(chuàng)造能力的進(jìn)一步提升，人們辨別哪些內(nèi)容是AI生成的,，驗(yàn)證內(nèi)容真?zhèn)蔚哪芰⒈贿M(jìn)一步削弱，深度偽裝（Deep Fake）問題會(huì)隨著人工智能技術(shù)進(jìn)步被進(jìn)一步放大,，并由此衍生出隱私,、道德,、法律、安全等層面的一系列問題,。

AI的軟肋

除了被應(yīng)用于非法活動(dòng)造成安全問題外，人工智能本身作為高度復(fù)雜的軟件,，同樣存在潛藏的安全風(fēng)險(xiǎn),，而這需要我們將目光轉(zhuǎn)向其開發(fā)環(huán)境中。

當(dāng)前,，絕大部分AI都在開源平臺(tái)進(jìn)行開發(fā)與調(diào)整，包括ChatGPT也是基于大量OpenAI的開源程序搭建完成的,，雖然開源平臺(tái)的使用可以在很大程度上降低開發(fā)成本,，促進(jìn)技術(shù)交流與創(chuàng)新,，但也存在著不容忽視的安全風(fēng)險(xiǎn),。

國(guó)家計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心的調(diào)查結(jié)果顯示,，近6年來，開源組件生態(tài)中漏洞數(shù)逐年遞增,，2020年新增漏洞數(shù)3426個(gè)，同比增長(zhǎng)40%,。

李玉峰指出,，一旦開源平臺(tái)失守，可能會(huì)引發(fā)連鎖式影響,，可能比互聯(lián)網(wǎng)時(shí)代傳統(tǒng)黑客攻擊后果更為嚴(yán)重,。此外,，眾多國(guó)外開源平臺(tái)掌控著核心資源和游戲規(guī)則,，一旦在開源平臺(tái)中被植入難以發(fā)現(xiàn)的“后門”，后果將不堪設(shè)想,。

除了開發(fā)環(huán)境存在的安全問題外,，作為以自我學(xué)習(xí)和自我進(jìn)化為重要屬性的人工智能系統(tǒng)，AI的發(fā)展方向穩(wěn)定高度依賴于供其學(xué)習(xí)和訓(xùn)練的數(shù)據(jù)與樣本,，遭到污染的數(shù)據(jù)集或針對(duì)特定參數(shù)提供帶有偏見的樣本,，都可能使AI形成安全隱患,。

“數(shù)據(jù)操縱、篡改和訓(xùn)練數(shù)據(jù)污染或投毒等,，都可能會(huì)影響人工智能決策的正確性，不完備的數(shù)據(jù)或者數(shù)據(jù)中存在的不同知識(shí),、概念等可能會(huì)導(dǎo)致決策偏見?！崩钣穹灞硎?，以深度學(xué)習(xí)為代表的人工智能算法經(jīng)常被視作一個(gè)“黑箱”，算法可解釋性和透明度的嚴(yán)重缺失,。算法設(shè)計(jì)或?qū)嵤┯姓`可產(chǎn)生與預(yù)期不符甚至傷害性結(jié)果,；算法潛藏偏見和歧視，可能會(huì)導(dǎo)致決策結(jié)果存在不公等問題,。

這種問題在ChatGPT上已有所體現(xiàn)。熊輝指出,，當(dāng)前ChatGPT給出的很多回答存在一個(gè)非常嚴(yán)重的問題,，就是經(jīng)常“一本正經(jīng)地胡說八道”：“你問它為什么量子計(jì)算比分布式計(jì)算快,，它可以頭頭是道地分析一大段,；你問它為什么分布式計(jì)算比量子計(jì)算快,，它同樣可以說得有理有據(jù),。”

熊輝表示,，由于當(dāng)前的人工智能并非嚴(yán)格意義上基于最完備,、最實(shí)時(shí)的信息進(jìn)行運(yùn)算，因此其準(zhǔn)確性,、完整性、公平性,、透明性、可解釋性都存在問題,，在進(jìn)行普通文本處理時(shí)問題尚且不大，一旦涉及到行業(yè)領(lǐng)域?qū)I(yè)問題,，AI的輸出就并不可靠了,。

這種針對(duì)數(shù)據(jù)的干擾措施也使得，例如目前被廣泛討論的對(duì)抗學(xué)習(xí)技術(shù)：通過對(duì)輸入樣本故意添加一些人無法察覺的細(xì)微的干擾,，導(dǎo)致模型以高置信度給出一個(gè)錯(cuò)誤或者有偏差的輸出,。

2020年，在校研究生單思雄與同學(xué)合作開發(fā)了AI對(duì)抗學(xué)習(xí)系統(tǒng)Fawkes,，該系統(tǒng)支持對(duì)照片數(shù)據(jù)進(jìn)行修改,，修改后的照片幾乎不會(huì)被人類肉眼發(fā)現(xiàn)區(qū)別,，但卻會(huì)使得AI做出完全不同的判斷,。

雖然Fawkes系統(tǒng)開發(fā)的本意是為了防止用戶照片和人臉信息被盜用,，但不可否認(rèn)的是,，如果該技術(shù)被用于規(guī)避出于身份認(rèn)證等需求的人臉識(shí)別時(shí)，可能導(dǎo)致額外的安全問題,。

李玉峰表示,，生成的對(duì)抗性樣本可能被模型誤判為正常樣本,，導(dǎo)致模型產(chǎn)生錯(cuò)誤的結(jié)果,；也可能破壞系統(tǒng)的正常運(yùn)行,，例如破壞目標(biāo)檢測(cè)模型的準(zhǔn)確性,。

智能與安全

事實(shí)上,，隨著近年來AI技術(shù)走出實(shí)驗(yàn)室，進(jìn)入人們的數(shù)字生活乃至現(xiàn)實(shí)生活,，AI安全問題已不僅僅局限于非法應(yīng)用和技術(shù)漏洞,，成為一個(gè)橫跨日常生活,、產(chǎn)業(yè)生產(chǎn)、社會(huì)治理等多層面的安全問題,。

多位受訪專家也在與記者交流時(shí)指出,，人工智能技術(shù)是由軟硬件結(jié)合形成的復(fù)雜系統(tǒng)，數(shù)據(jù),、模型,、算法都不是孤立存在的，最終都要依托一套完整的“宿主”系統(tǒng),。因而探討和解決人工智能安全問題,，也不能脫離對(duì)系統(tǒng)整體的研究。

早在2019年,，歐盟網(wǎng)絡(luò)與信息安全局（ENISA）近日發(fā)布了題為《建立網(wǎng)絡(luò)安全政策發(fā)展框架——對(duì)自主代理的安全和隱私考慮》的報(bào)告,，提出包容性與開放性原則,，旨在為歐盟成員國(guó)提供一個(gè)政策制定框架，以應(yīng)對(duì)AI引發(fā)的安全和隱私問題,。同年,，美國(guó)國(guó)防創(chuàng)新委員會(huì)投票通過了一份名為《人工智能原則：國(guó)防部人工智能應(yīng)用倫理的若干建議》， 文件中提出了“負(fù)責(zé),、公平,、可追蹤、可靠,、可控”五大原則

2021年,，歐盟委員會(huì)提出了人工智能規(guī)則法案，旨在促進(jìn)創(chuàng)新,，并為人工智能設(shè)定全球標(biāo)準(zhǔn),。近日，《歐盟人工智能法案》( EU AI Act)聯(lián)合報(bào)告員對(duì)外表示,，預(yù)計(jì)在3月初,，歐盟就將就該草案達(dá)成共同立場(chǎng)。

2022年9月,，經(jīng)上海市十五屆人大常委會(huì)第四十四次會(huì)議表決,，《上海市促進(jìn)人工智能產(chǎn)業(yè)發(fā)展條例》正式通過?！稐l例》中指出,，市經(jīng)濟(jì)信息化、市場(chǎng)監(jiān)管部門應(yīng)當(dāng)推動(dòng)行業(yè)組織制定機(jī)器人智能化水平分級(jí),、應(yīng)用安全測(cè)試等標(biāo)準(zhǔn),，引導(dǎo)智能機(jī)器人技術(shù)迭代,，保障智能機(jī)器人的信息安全和使用安全,。

回顧各國(guó)對(duì)人工智能安全的管理措施鼓勵(lì)產(chǎn)業(yè)發(fā)展與創(chuàng)新，加強(qiáng)標(biāo)準(zhǔn)建設(shè),，從技術(shù)層面降低安全威脅,；與通過政策引導(dǎo)、產(chǎn)業(yè)合作等方式占據(jù)更多國(guó)際規(guī)則制定話語權(quán)是并行不悖的,。

李玉峰指出,，以人工智能開源平臺(tái)安全性問題為例，可以采用代碼審核,、數(shù)據(jù)保護(hù),、檢測(cè)與測(cè)試、漏洞修復(fù)與管理,、安全監(jiān)測(cè),、應(yīng)急響應(yīng)等技術(shù)措施加以應(yīng)對(duì),，也需要進(jìn)一步加強(qiáng)國(guó)產(chǎn)開源生態(tài)建設(shè)。

“假設(shè)未來的智能軟件和硬件高度結(jié)合,，AI是否也會(huì)將自己控制的機(jī)器視為身體的一部分,？當(dāng)人類佩戴甚至植入帶有人工智能的硬件，他行為的主動(dòng)性又該如何加以確認(rèn)和區(qū)分,，這都是AI發(fā)展過程中需要思考的問題,。”熊輝說,。

南財(cái)記者與ChatGPT對(duì)話截圖

（作者：吳立洋,實(shí)習(xí)生王夢(mèng)溪 編輯：諸未靜）