AI就像硬幣的兩面,，“既能幫助好人也能助紂為虐”，這背后是AI大模型可能被“投毒”,。

當(dāng)前，AI大語言模型浪潮席卷全球，國內(nèi)企業(yè)院校紛紛推出自研大語言模型,，各行各業(yè)也在探索AI賦能之道。但AI既可以為效率“提速”,，也有可能成為黑灰產(chǎn)牟利的工具,，在這一背景下,，大模型本身以及大模型相關(guān)產(chǎn)業(yè)將會(huì)出現(xiàn)哪些安全風(fēng)險(xiǎn)？國內(nèi)的網(wǎng)絡(luò)安全行業(yè)要如何應(yīng)對(duì),？

新京報(bào)貝殼財(cái)經(jīng)記者近日分別參加C3安全大會(huì)與2023全球數(shù)字經(jīng)濟(jì)大會(huì)人工智能高峰論壇并采訪相關(guān)專家,。有專家認(rèn)為，人工智能的安全問題并非如今才有，但在大模型浪潮下,，需要防止AI大模型被“污染”,，同時(shí)大模型時(shí)代數(shù)據(jù)安全將比以往更加重要，大模型是否會(huì)導(dǎo)致數(shù)據(jù)泄露,，如何保護(hù)企業(yè)核心技術(shù)資產(chǎn),，都是大模型時(shí)代需要關(guān)注的重點(diǎn)。

要防止AI模型被“污染”

亞信安全首席安全官徐業(yè)禮在接受貝殼財(cái)經(jīng)記者采訪時(shí)表示,，大語言模型技術(shù)目前談得非常廣泛,，其的確是一個(gè)革命性的改變，AI行業(yè)也已經(jīng)達(dá)到2.0時(shí)代,。在這樣的情況下,，談AI安全的也越來越多，AI跟安全的關(guān)系包括：第一,，AI系統(tǒng)越來越大,，本身的安全就是一個(gè)關(guān)鍵，這涉及AI“投毒”,，模型被篡改,，包括AI系統(tǒng)本身有邊界防護(hù)端點(diǎn)防護(hù)的能力。第二，AI做壞事怎么辦,？AI可能生成一些誤導(dǎo)信息怎么辦,？另外，大量使用AI,，特別是境外的AI可能導(dǎo)致數(shù)據(jù)的泄露,，這都是非常大的風(fēng)險(xiǎn)和問題。

“人工智能就如同雙面人,，既幫助好人,，也幫助壞人。善用AI可以創(chuàng)造很好的功能,，但如果不能做好安全管理，AI可以帶來危險(xiǎn),，所以人工智能大模型很重要的環(huán)節(jié)是安全的考量,。”英普華亞太及日本區(qū)技術(shù)副總裁周達(dá)偉說,。

周達(dá)偉表示,，即便有龐大的算力，但如果沒有穩(wěn)定的使用環(huán)境,，內(nèi)容不能確保不受惡意攻擊,。“這里有兩個(gè)重點(diǎn),，第一個(gè)重點(diǎn)是我們需要面面俱到,，做全面的保障，因?yàn)椴恢皇俏覀兇鎯?chǔ),，要確保資料和安全,，確保里面不受到其他人攻擊，還要保障傳輸環(huán)節(jié),，保障我們的訪問環(huán)節(jié),。第二，我們要做防患于未然的準(zhǔn)備,，在人工智能時(shí)代,，不能用貓抓老鼠的方式做，要先行部署,，全面化保障人工智能大模型帶來的資產(chǎn),，我們要多思考相關(guān)內(nèi)容?！?/p>

清華大學(xué)計(jì)算機(jī)系長聘教授,、清華大學(xué)人工智能研究院副院長朱軍在人工智能高峰論壇中發(fā)言稱，大模型之前的人工智能時(shí)代,，我們已經(jīng)發(fā)現(xiàn)人工智能本身具有所謂的安全問題,。而AIGC（AI創(chuàng)造內(nèi)容）特別是ChatGPT出現(xiàn)以后,，安全問題越來越嚴(yán)重，“我們比較關(guān)注的大模型本身可能會(huì)對(duì)Prompt Injection（大模型輸入提示文字）有攻擊風(fēng)險(xiǎn),，加入少量編輯就會(huì)誤導(dǎo),，也存在數(shù)據(jù)泄露的風(fēng)險(xiǎn)，ChatGPT會(huì)把很多隱私數(shù)據(jù)上傳?，F(xiàn)在也有用AIGC（AI創(chuàng)造內(nèi)容）技術(shù)提升詐騙手段,，通過虛假內(nèi)容實(shí)現(xiàn)黑客攻擊，包括代碼生成實(shí)現(xiàn)網(wǎng)絡(luò)攻擊,。生成的虛假內(nèi)容本身是不良的,，存在誤導(dǎo)性和欺騙性。除此之外,，算法本身是否存在政治偏見和數(shù)字鴻溝,，數(shù)據(jù)采集的過程中會(huì)不會(huì)侵犯知識(shí)產(chǎn)權(quán)，這些在大模型時(shí)代都變得越來越重要和受關(guān)注,?！?/p>

朱軍認(rèn)為，需要提升安全評(píng)測能力,，大模型可能會(huì)有角色扮演或者誤導(dǎo)欺騙,，應(yīng)該如何識(shí)別和防御，數(shù)據(jù)投毒等方式和手段也要進(jìn)行評(píng)測,，“大家可能會(huì)發(fā)現(xiàn),，如果故意混淆一些提示，Prompt會(huì)讓大模型誤把原來不符合規(guī)定的東西生成出來,，這是比較常見的現(xiàn)象,，評(píng)測中需要重點(diǎn)關(guān)注。AIGC需要加入標(biāo)識(shí),，評(píng)價(jià)的過程中也需要針對(duì)標(biāo)識(shí)的不可感知性,、容量、魯棒性,、安全性進(jìn)行全面評(píng)估,。”

在周達(dá)偉看來,，過去很注重的是遠(yuǎn)程安全和應(yīng)用安全,，但在大模型的產(chǎn)業(yè)互聯(lián)網(wǎng)時(shí)代，會(huì)更注重?cái)?shù)據(jù)安全,，以及API（Application Programming Interface,，應(yīng)用程序編程接口）安全，“我們從流量去看，現(xiàn)在最新的數(shù)據(jù)有83%的網(wǎng)頁應(yīng)用和API有直接關(guān)系,，其中27%的相關(guān)攻擊是針對(duì)API做出的,，所以我們應(yīng)該更加注重了解以及保護(hù)數(shù)據(jù)安全，包括API安全的部分,?！?/p>

用人工智能防御人工智能風(fēng)險(xiǎn)

貝殼財(cái)經(jīng)記者注意到，我國對(duì)人工智能治理非常重視,，已經(jīng)發(fā)布了一系列重要規(guī)定和法律,，包括《AIGC服務(wù)管理辦法（征求意見稿）》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等。

朱軍表示,，數(shù)據(jù)在標(biāo)注,、訓(xùn)練、使用,、部署的過程中都會(huì)涉及安全問題,。如何保護(hù)隱私，讓敏感數(shù)據(jù)信息不泄露,，甚至不出現(xiàn)關(guān)鍵數(shù)據(jù)的安全問題；服務(wù)本身是否透明,，算法有無偏見,，是否公平公正等都需要關(guān)注。

在他看來,，解決人工智能的安全問題,，需要從人工智能基礎(chǔ)嘗試，因?yàn)槿斯ぶ悄艽蟛糠侄俭w現(xiàn)在算法上,，算法原理本身是否能夠有可以克服的問題,，這需要從根本上解決。針對(duì)深度學(xué)習(xí),、深度神經(jīng)網(wǎng)絡(luò),，學(xué)術(shù)界一直在探索第三代人工智能新的范式，希望能夠?qū)?shù)據(jù)和知識(shí)有機(jī)融合在一起,，發(fā)展更加安全可靠的人工智能框架,。

貝殼財(cái)經(jīng)記者發(fā)現(xiàn)，用技術(shù)手段甚至人工智能來防御人工智能帶來的風(fēng)險(xiǎn),，已經(jīng)成為了從業(yè)者探索的領(lǐng)域之一,。

“我們可以發(fā)展人工智能，更重要的是我們要防止不良意圖的人利用人工智能來破壞人工智能,，來攻擊人工智能,，我們要學(xué)習(xí)如何利用人工智能來強(qiáng)化人工智能的安全保障。”周達(dá)偉說,。

亞信安全終端安全產(chǎn)品總經(jīng)理汪晨對(duì)貝殼財(cái)經(jīng)記者表示,，實(shí)際上早在幾年前就已經(jīng)實(shí)現(xiàn)了人工智能的機(jī)器學(xué)習(xí)技術(shù)，“人工智能有監(jiān)督學(xué)習(xí),，無監(jiān)督學(xué)習(xí),，包括其他一些方式，但是最能落地的是有監(jiān)督學(xué)習(xí),，原理就是通過大量的樣本訓(xùn)練,，來讓我們的模型或者說我們的機(jī)器學(xué)習(xí)能夠甄別出防病毒軟件的DNA?！?/p>

汪晨認(rèn)為,，一方面，AI技術(shù)可以幫助甄別出病毒軟件的DNA,，即使他們進(jìn)行了偽裝,，也能識(shí)別出其是黑是白；但另一方面,，因?yàn)锳I需要通過大量數(shù)據(jù)訓(xùn)練才能獲得能力,，如果用黑客污染過的數(shù)據(jù)進(jìn)行訓(xùn)練，訓(xùn)練出的模型就會(huì)存在漏洞,。如何確保訓(xùn)練數(shù)據(jù)的準(zhǔn)確率和精準(zhǔn)度,，是目前面臨的新挑戰(zhàn)。

“需要構(gòu)建有效的治理工具平臺(tái),，前期我們做了探索,，包括人工智能本身的安全平臺(tái)，安全評(píng)測,、防御和整個(gè)態(tài)勢的評(píng)估,，包括對(duì)抗樣本這些場景，可以通過平臺(tái)化的方式對(duì)人工智能的算法和服務(wù)進(jìn)行評(píng)測,。特殊專業(yè)的應(yīng)用場景,，要專門針對(duì)對(duì)抗樣本檢測、偽造視頻檢測等進(jìn)行防護(hù),，這是人臉識(shí)別的防火墻,，現(xiàn)在金融行業(yè)也在部署和應(yīng)用?！敝燔姳硎?，“我們也有打造人工智能安全靶場，大家可以看到攻擊和防御其實(shí)是一個(gè)博弈的過程,，就像在網(wǎng)絡(luò)安全時(shí)代,，人工智能時(shí)代也需要可行的安全靶場,。平臺(tái)可以將人工智能算法早期的風(fēng)險(xiǎn)發(fā)現(xiàn)和相應(yīng)的防御進(jìn)行有效診斷、提升和持續(xù)演化,?！?/p>

360公司創(chuàng)始人、董事長兼CEO周鴻祎參加人工智能高峰論壇時(shí)表示,，每個(gè)企業(yè)內(nèi)部自己的“knowhow”（專業(yè)技術(shù)/技術(shù)訣竅）是核心資產(chǎn),，肯定不能拿來訓(xùn)練公有大模型，“公有大模型使用會(huì)有數(shù)據(jù)泄露的問題,，因?yàn)楹芏嘞敕ê陀?jì)劃都要告訴它,，才能寫出一篇好文章?！?/p>

而汪晨則對(duì)記者表示,，終端安全極為重要，“當(dāng)前網(wǎng)絡(luò)環(huán)境確實(shí)發(fā)生了新的變化,。第一,，整個(gè)網(wǎng)絡(luò)加密流量增多了，所以在網(wǎng)絡(luò)側(cè)很難看清危險(xiǎn),，85%的黑客攻擊是潛伏在網(wǎng)絡(luò)加密流量里面,，只有在終端增強(qiáng)之后才能看清和搞定。第二,，隨著企業(yè)數(shù)字化的轉(zhuǎn)型,，都是通過終端訪問數(shù)字化（資產(chǎn)），如果終端產(chǎn)品做不好會(huì)影響你的數(shù)字化轉(zhuǎn)型的進(jìn)程,。”

新京報(bào)貝殼財(cái)經(jīng)記者 羅亦丹 編輯 岳彩周 校對(duì) 翟永軍

記者聯(lián)系郵箱：[email protected]