2024年2月29日，奇安信集團對外發(fā)布《2024人工智能安全報告》（以下簡稱《報告》）,?！秷蟾妗氛J為,，人工智能技術的惡意使用將快速增長,，在政治安全,、網(wǎng)絡安全、物理安全和軍事安全等方面構(gòu)成嚴重威脅,?！秷蟾妗方沂玖嘶?span id="a6otyhj" class="wpcom_tag_link">AI的12種重要威脅，同時給予應對建議,。根據(jù)《報告》，2023年基于AI的深度偽造欺詐暴增了3000%,，基于AI的釣魚郵件增長了1000%,；目前已發(fā)現(xiàn)有多個有國家背景的APT組織，利用AI實施了十余起網(wǎng)絡攻擊事件……但目前,，業(yè)界對AI潛在風險的研究與重視程度仍遠遠不足,，《報告》認為，在積極擁抱大模型等人工智能技術之時,，各界對其安全風險應保持警醒,。大模型引爆AI熱潮，雙刃劍效應顯現(xiàn)2022年以后,，以ChaGPT為代表的大語言模型（Large Language Model,，LLM）AI技術快速崛起，后續(xù)的進展可謂一日千里,，迎來了AI技術應用的大爆發(fā),，展現(xiàn)出來的能力和效果震驚世界。IDC調(diào)研顯示,，67%的中國企業(yè)已經(jīng)開始探索 AIGC 在企業(yè)內(nèi)的應用機會或進行相關資金投入,。IDC預測,，2026年中國AI大模型市場規(guī)模將達到211億美元，人工智能將進入大規(guī)模落地應用關鍵期,?！秷蟾妗氛J為，“AI是一種通用技術,，通用就意味著既可以用來做好事,，也可以被用來干壞事”。具有巨大潛力的AI技術同時帶來兩大主要挑戰(zhàn)：一是放大現(xiàn)有威脅,，另一個是引入新型威脅,。奇安信預計，未來十年,，人工智能技術的惡意使用將快速增長,，將在政治安全、網(wǎng)絡安全,、物理安全和軍事安全等方面構(gòu)成嚴重威脅,。研究發(fā)現(xiàn),，人工智能已成攻擊工具,，并帶來迫在眉睫的威脅，相關的網(wǎng)絡攻擊頻次越來越高,。數(shù)據(jù)顯示,，2023年基于AI的深度偽造欺詐暴增了3000%，基于AI的釣魚郵件數(shù)量增長了1000%,；奇安信威脅情報中心監(jiān)測發(fā)現(xiàn),，已有多個有國家背景的APT組織利用AI實施了十余起網(wǎng)絡攻擊事件。各類基于AI的新型攻擊種類與手段不斷出現(xiàn),，甚至出現(xiàn)泛濫,，包括深度偽造（Deepfake）、黑產(chǎn)大語言模型,、惡意AI機器人,、自動化攻擊等，在全球造成了嚴重危害,。在當前波譎云詭,、風高浪急的國際形勢下，快速發(fā)展的AI帶來了更加復雜和難以預測的軍事威脅,，包括相關武器系統(tǒng)的誤用,、濫用甚至惡用，導致戰(zhàn)爭不可控性增加。例如人工智能被用在“機器人殺手”等致命性自主武器(LAWS)上,，可能會導致無差別殺戮,。數(shù)據(jù)顯示，2024財年,，美國國防部計劃增加與AI相關的網(wǎng)絡安全投資,，總額約2457億美元，其中674億美元用于網(wǎng)絡IT和電子戰(zhàn)能力,。AI引入或放大12種威脅,，業(yè)界對AI風險重視不足《報告》深入研究了基于AI的深度偽造（Deepfake）、黑產(chǎn)大語言模型基礎設施,、利用AI的自動化攻擊,、AI武器化、LLM自身安全風險,、惡意軟件,、釣魚郵件、虛假內(nèi)容和活動生成,、硬件傳感器安全等12種重要威脅,，對其技術原理、危害情況,、真實案例等進行了深入的剖析,，旨在讓業(yè)界更全面的認識到AI普及帶來的兩大主要挑戰(zhàn)：一方面放大了現(xiàn)有威脅，比如釣魚郵件,、惡意軟件和社會工程學等,；另一方面是引入了新型威脅，如AI自動化攻擊,、AI深度偽造等,。《報告》認為,，AI與大語言模型本身伴隨著安全風險，業(yè)內(nèi)對潛在影響的研究與重視程度仍遠遠不足,。全球知名應用安全組織OWASP發(fā)布大模型應用的十大安全風險,，包括提示注入、數(shù)據(jù)泄漏,、沙箱不足和未經(jīng)授權的代碼執(zhí)行等,。此外，因訓練語料存在不良信息,，導致生成的內(nèi)容不安全,，正持續(xù)引發(fā)災難性的后果，危害國家安全，公共安全甚至個人安全,，這些都亟需業(yè)內(nèi)的高度重視和積極應對,。AI威脅該如何應對？行業(yè)亟待加強監(jiān)管,，推動安全范式變革《報告》從安全行業(yè),、監(jiān)管機構(gòu)、政企機構(gòu),、網(wǎng)絡用戶等群體角度,，給出了應對AI威脅的建議。其中安全行業(yè)需要繼續(xù)發(fā)揮能力優(yōu)勢,，確保人工智能本身的安全性,，并積極利用人工智能用于安全防護；監(jiān)管機構(gòu)需要對AI潛在風險與影響保持持續(xù)關注,，在制度和法規(guī)上及時提供支持,；政企機構(gòu)需及時部署AI安全框架和解決方案，以及AI安全評估服務和檢測工具,，還要依托AI推動安全升級,；網(wǎng)絡用戶在嘗試最新人工智能應用的同時，同樣需要更新安全知識,，形成良好的安全習慣,。面對AI網(wǎng)絡攻擊、AI武器化等日益嚴峻的安全威脅,，《報告》認為,，AI技術將會推動安全領域發(fā)生范式變革，全行業(yè)需啟動人工智能網(wǎng)絡防御推進計劃,。新一代AI技術與大語言模型改變安全對抗格局,，將會對地緣政治競爭和國家安全造成深遠的影響，各國正在競相加強在人工智能領域的競爭,，以獲得面向未來的戰(zhàn)略優(yōu)勢,。全行業(yè)需啟動人工智能網(wǎng)絡防御推進計劃，包括利用防御人工智能對抗惡意人工智能,，扭轉(zhuǎn)“防御者困境”,。奇安信AI安全專家認為，一個影響深遠的新技術出現(xiàn),，人們一般傾向于在短期高估它的作用,，而又長期低估其影響。當前,，攻防雙方都在緊張地探索AI殺手級的應用,，數(shù)月甚至數(shù)天就出現(xiàn)重大的變化,。專家提醒，無論監(jiān)管機構(gòu),、安全行業(yè),，還是政企機構(gòu)，都需要積極擁抱潛力巨大的AI技術與大模型,，同時審慎評估其影響的不確定性,，確保監(jiān)管與治理及時跟進，不能先上車再補票,。（辛華）來源：光明網(wǎng)