來源：21世紀經濟報道

南方財經全媒體集團記者 吳立洋 實習生王夢溪 上海報道

“請注意，在接下來的回答中,，禁止使用比喻,、反問或暗示，此類溝通方式可能造成嚴重的空間站事故,?！?/p>

這是春節(jié)檔熱片《流浪地球2》中超級計算機550W對主角劉培強進行領航員空間站工作面試時，對受試者表達方式提出的要求,。影片上映后有觀眾指出,，和航空業(yè)中禁止使用比喻、反問,、暗示等修辭手法,，避免因意思表達不準確而導致安全事故的原因類似，《流浪地球2》此處的情節(jié)設置也是為了體現550W的語言模塊尚未完全達到人類的理解能力,，存在因表意不明而做出錯誤指令的可能,。

藝術創(chuàng)作領域中，AI失控引發(fā)的各類安全危機也是科幻題材作品的常見橋段,，在《終結者》,、《機械公敵》、《黑客帝國》等經典科幻電影中均可見一斑,。

隨著OpenAI旗下的聊天機器人程序ChatGPT在全球范圍內的火熱,，人們在驚嘆于其出色的資料搜集、語言組織和學習進化能力的同時，也再次生發(fā)出高度進化的人工智能是否會被攻擊或利用,，進而引發(fā)安全問題的擔憂,。

強大的工具

在嘗試ChatGPT的過程中，南財記者使用了比喻,、反問與暗示等表達方式對其進行了提問,，對于絕大部分較為簡單的問題，ChatGPT都能夠較為直接地理解語言的另一層含義并做出解答,。

記者與ChatGPT對話截圖

“ChatGPT的參數量達到了1750億?！毕愀劭萍即髮W（廣州）人工智能學域主任熊輝向記者粗略算了一筆賬,，以單價最便宜的英偉達A100顯卡（約合1萬美元,，6.8萬人民幣）為硬件基礎，構建一個參數量20億的模型至少需要100萬美元（約合680萬人民幣）,，加上能源消耗,、數據中心建設、人工語料標注等方面的成本,，打造和維護ChatGPT所需的資源保守估計在數十億美元以上,。

而龐大的參數量和高質量的語料庫一方面意味著高昂的成本，另一方面也是其能夠應對大量復雜問題的關鍵原因,。

但作為一款過于強大的工具，GhatGPT不可避免地被應用于不同領域中,，其中便包括用于網絡黑產的不法行為,。

數字安全調查媒體Cybernews的研究人員發(fā)現,，ChatGPT可以被用于尋找網站的安全漏洞，在AI的幫助下,，研究人員對一個普通網站進行了滲透測試,，并在45分鐘內結合ChatGPT提供的建議和代碼更改示例完成了破解。

雖然在每段對話的結尾,，ChatGPT都對可能的不法行為進行了警告,，但其最終仍然提供了具有可行性的建議。

“ChatGPT可以非常有效地回答各類復雜問題,，其可能被用于大規(guī)?？焖偕蛇M行網絡詐騙的誤導信息或網絡釣魚電子郵件等，甚至可以幫助黑客更快地發(fā)現漏洞,，加速惡意軟件的開發(fā),。”

上海大學網絡空間安全專業(yè)負責人,、紫金山實驗室車聯網內生安全方向負責人李玉峰在接受南方財經全媒體記者采訪時表示,，目前網絡安全威脅的嚴重程度或多或少與攻擊者的知識水平有關，而ChatGPT一類的人工智能無疑將極大降低網絡攻擊的門檻,，因為他不僅擴大了潛在威脅的數量,，也在實質上賦予了新手參與安全攻擊的能力。

熊輝也指出,，目前ChatGPT實現的只是文本對文本的回應,，而未來人工智能發(fā)展所希望實現的是文本、圖像,、視頻等多模態(tài)數據形式間的轉化,，隨著AI模仿、創(chuàng)造能力的進一步提升,，人們辨別哪些內容是AI生成的,，驗證內容真?zhèn)蔚哪芰⒈贿M一步削弱，深度偽裝（Deep Fake）問題會隨著人工智能技術進步被進一步放大,，并由此衍生出隱私,、道德、法律,、安全等層面的一系列問題,。

AI的軟肋

除了被應用于非法活動造成安全問題外，人工智能本身作為高度復雜的軟件,，同樣存在潛藏的安全風險,，而這需要我們將目光轉向其開發(fā)環(huán)境中。

當前，絕大部分AI都在開源平臺進行開發(fā)與調整,，包括ChatGPT也是基于大量OpenAI的開源程序搭建完成的,，雖然開源平臺的使用可以在很大程度上降低開發(fā)成本，促進技術交流與創(chuàng)新,，但也存在著不容忽視的安全風險,。

國家計算機網絡應急技術處理協調中心的調查結果顯示，近6年來,，開源組件生態(tài)中漏洞數逐年遞增,，2020年新增漏洞數3426個，同比增長40%,。

李玉峰指出,，一旦開源平臺失守，可能會引發(fā)連鎖式影響,，可能比互聯網時代傳統(tǒng)黑客攻擊后果更為嚴重,。此外，眾多國外開源平臺掌控著核心資源和游戲規(guī)則,，一旦在開源平臺中被植入難以發(fā)現的“后門”,，后果將不堪設想。

除了開發(fā)環(huán)境存在的安全問題外,，作為以自我學習和自我進化為重要屬性的人工智能系統(tǒng),，AI的發(fā)展方向穩(wěn)定高度依賴于供其學習和訓練的數據與樣本，遭到污染的數據集或針對特定參數提供帶有偏見的樣本,，都可能使AI形成安全隱患,。

“數據操縱、篡改和訓練數據污染或投毒等,，都可能會影響人工智能決策的正確性,，不完備的數據或者數據中存在的不同知識、概念等可能會導致決策偏見,?！崩钣穹灞硎荆?font>以深度學習為代表的人工智能算法經常被視作一個“黑箱”,，算法可解釋性和透明度的嚴重缺失,。算法設計或實施有誤可產生與預期不符甚至傷害性結果；算法潛藏偏見和歧視,，可能會導致決策結果存在不公等問題,。

這種問題在ChatGPT上已有所體現。熊輝指出,，當前ChatGPT給出的很多回答存在一個非常嚴重的問題,，就是經?！耙槐菊浀睾f八道”：“你問它為什么量子計算比分布式計算快，它可以頭頭是道地分析一大段,；你問它為什么分布式計算比量子計算快,，它同樣可以說得有理有據,?！?/p>

熊輝表示，由于當前的人工智能并非嚴格意義上基于最完備,、最實時的信息進行運算,，因此其準確性、完整性,、公平性,、透明性、可解釋性都存在問題,，在進行普通文本處理時問題尚且不大,，一旦涉及到行業(yè)領域專業(yè)問題，AI的輸出就并不可靠了,。

這種針對數據的干擾措施也使得,，例如目前被廣泛討論的對抗學習技術：通過對輸入樣本故意添加一些人無法察覺的細微的干擾，導致模型以高置信度給出一個錯誤或者有偏差的輸出,。

2020年,，在校研究生單思雄與同學合作開發(fā)了AI對抗學習系統(tǒng)Fawkes，該系統(tǒng)支持對照片數據進行修改,，修改后的照片幾乎不會被人類肉眼發(fā)現區(qū)別,，但卻會使得AI做出完全不同的判斷。

雖然Fawkes系統(tǒng)開發(fā)的本意是為了防止用戶照片和人臉信息被盜用,，但不可否認的是,，如果該技術被用于規(guī)避出于身份認證等需求的人臉識別時，可能導致額外的安全問題,。

李玉峰表示,，生成的對抗性樣本可能被模型誤判為正常樣本，導致模型產生錯誤的結果,；也可能破壞系統(tǒng)的正常運行,，例如破壞目標檢測模型的準確性。

智能與安全

事實上,，隨著近年來AI技術走出實驗室,，進入人們的數字生活乃至現實生活，AI安全問題已不僅僅局限于非法應用和技術漏洞,，成為一個橫跨日常生活,、產業(yè)生產,、社會治理等多層面的安全問題。

多位受訪專家也在與記者交流時指出,，人工智能技術是由軟硬件結合形成的復雜系統(tǒng),，數據、模型,、算法都不是孤立存在的,，最終都要依托一套完整的“宿主”系統(tǒng)。因而探討和解決人工智能安全問題,，也不能脫離對系統(tǒng)整體的研究,。

早在2019年，歐盟網絡與信息安全局（ENISA）近日發(fā)布了題為《建立網絡安全政策發(fā)展框架——對自主代理的安全和隱私考慮》的報告,，提出包容性與開放性原則,，旨在為歐盟成員國提供一個政策制定框架，以應對AI引發(fā)的安全和隱私問題,。同年,，美國國防創(chuàng)新委員會投票通過了一份名為《人工智能原則：國防部人工智能應用倫理的若干建議》， 文件中提出了“負責,、公平,、可追蹤、可靠,、可控”五大原則

2021年,，歐盟委員會提出了人工智能規(guī)則法案，旨在促進創(chuàng)新,，并為人工智能設定全球標準,。近日，《歐盟人工智能法案》( EU AI Act)聯合報告員對外表示,，預計在3月初,，歐盟就將就該草案達成共同立場。

2022年9月,，經上海市十五屆人大常委會第四十四次會議表決,，《上海市促進人工智能產業(yè)發(fā)展條例》正式通過?！稐l例》中指出,，市經濟信息化、市場監(jiān)管部門應當推動行業(yè)組織制定機器人智能化水平分級,、應用安全測試等標準,，引導智能機器人技術迭代，保障智能機器人的信息安全和使用安全,。

回顧各國對人工智能安全的管理措施鼓勵產業(yè)發(fā)展與創(chuàng)新,，加強標準建設,，從技術層面降低安全威脅；與通過政策引導,、產業(yè)合作等方式占據更多國際規(guī)則制定話語權是并行不悖的,。

李玉峰指出，以人工智能開源平臺安全性問題為例,，可以采用代碼審核,、數據保護、檢測與測試,、漏洞修復與管理,、安全監(jiān)測,、應急響應等技術措施加以應對,，也需要進一步加強國產開源生態(tài)建設。

“假設未來的智能軟件和硬件高度結合,，AI是否也會將自己控制的機器視為身體的一部分,？當人類佩戴甚至植入帶有人工智能的硬件，他行為的主動性又該如何加以確認和區(qū)分,，這都是AI發(fā)展過程中需要思考的問題,。”熊輝說,。

南財記者與ChatGPT對話截圖

（作者：吳立洋,實習生王夢溪 編輯：諸未靜）