AI就像硬幣的兩面,，“既能幫助好人也能助紂為虐”，這背后是AI大模型可能被“投毒”,。

當(dāng)前，AI大語(yǔ)言模型浪潮席卷全球,，國(guó)內(nèi)企業(yè)院校紛紛推出自研大語(yǔ)言模型,，各行各業(yè)也在探索AI賦能之道。但AI既可以為效率“提速”,，也有可能成為黑灰產(chǎn)牟利的工具,，在這一背景下，大模型本身以及大模型相關(guān)產(chǎn)業(yè)將會(huì)出現(xiàn)哪些安全風(fēng)險(xiǎn),？國(guó)內(nèi)的網(wǎng)絡(luò)安全行業(yè)要如何應(yīng)對(duì),？

新京報(bào)貝殼財(cái)經(jīng)記者近日分別參加C3安全大會(huì)與2023全球數(shù)字經(jīng)濟(jì)大會(huì)人工智能高峰論壇并采訪(fǎng)相關(guān)專(zhuān)家。有專(zhuān)家認(rèn)為,，人工智能的安全問(wèn)題并非如今才有,，但在大模型浪潮下,，需要防止AI大模型被“污染”，同時(shí)大模型時(shí)代數(shù)據(jù)安全將比以往更加重要,，大模型是否會(huì)導(dǎo)致數(shù)據(jù)泄露,，如何保護(hù)企業(yè)核心技術(shù)資產(chǎn)，都是大模型時(shí)代需要關(guān)注的重點(diǎn),。

要防止AI模型被“污染”

亞信安全首席安全官徐業(yè)禮在接受貝殼財(cái)經(jīng)記者采訪(fǎng)時(shí)表示,，大語(yǔ)言模型技術(shù)目前談得非常廣泛，其的確是一個(gè)革命性的改變,，AI行業(yè)也已經(jīng)達(dá)到2.0時(shí)代,。在這樣的情況下,，談AI安全的也越來(lái)越多，AI跟安全的關(guān)系包括：第一,，AI系統(tǒng)越來(lái)越大,，本身的安全就是一個(gè)關(guān)鍵，這涉及AI“投毒”,，模型被篡改,，包括AI系統(tǒng)本身有邊界防護(hù)端點(diǎn)防護(hù)的能力。第二,，AI做壞事怎么辦,？AI可能生成一些誤導(dǎo)信息怎么辦,？另外,，大量使用AI，特別是境外的AI可能導(dǎo)致數(shù)據(jù)的泄露,，這都是非常大的風(fēng)險(xiǎn)和問(wèn)題,。

“人工智能就如同雙面人，既幫助好人,，也幫助壞人,。善用AI可以創(chuàng)造很好的功能，但如果不能做好安全管理,，AI可以帶來(lái)危險(xiǎn),，所以人工智能大模型很重要的環(huán)節(jié)是安全的考量?！庇⑵杖A亞太及日本區(qū)技術(shù)副總裁周達(dá)偉說(shuō),。

周達(dá)偉表示，即便有龐大的算力,，但如果沒(méi)有穩(wěn)定的使用環(huán)境,，內(nèi)容不能確保不受惡意攻擊?！斑@里有兩個(gè)重點(diǎn),，第一個(gè)重點(diǎn)是我們需要面面俱到，做全面的保障,，因?yàn)椴恢皇俏覀兇鎯?chǔ),，要確保資料和安全，確保里面不受到其他人攻擊,，還要保障傳輸環(huán)節(jié),，保障我們的訪(fǎng)問(wèn)環(huán)節(jié)。第二,，我們要做防患于未然的準(zhǔn)備,，在人工智能時(shí)代,，不能用貓抓老鼠的方式做，要先行部署,，全面化保障人工智能大模型帶來(lái)的資產(chǎn),，我們要多思考相關(guān)內(nèi)容?！?/p>

清華大學(xué)計(jì)算機(jī)系長(zhǎng)聘教授,、清華大學(xué)人工智能研究院副院長(zhǎng)朱軍在人工智能高峰論壇中發(fā)言稱(chēng)，大模型之前的人工智能時(shí)代,，我們已經(jīng)發(fā)現(xiàn)人工智能本身具有所謂的安全問(wèn)題,。而AIGC（AI創(chuàng)造內(nèi)容）特別是ChatGPT出現(xiàn)以后，安全問(wèn)題越來(lái)越嚴(yán)重,，“我們比較關(guān)注的大模型本身可能會(huì)對(duì)Prompt Injection（大模型輸入提示文字）有攻擊風(fēng)險(xiǎn),，加入少量編輯就會(huì)誤導(dǎo)，也存在數(shù)據(jù)泄露的風(fēng)險(xiǎn),，ChatGPT會(huì)把很多隱私數(shù)據(jù)上傳?，F(xiàn)在也有用AIGC（AI創(chuàng)造內(nèi)容）技術(shù)提升詐騙手段，通過(guò)虛假內(nèi)容實(shí)現(xiàn)黑客攻擊,，包括代碼生成實(shí)現(xiàn)網(wǎng)絡(luò)攻擊,。生成的虛假內(nèi)容本身是不良的，存在誤導(dǎo)性和欺騙性,。除此之外,，算法本身是否存在政治偏見(jiàn)和數(shù)字鴻溝，數(shù)據(jù)采集的過(guò)程中會(huì)不會(huì)侵犯知識(shí)產(chǎn)權(quán),，這些在大模型時(shí)代都變得越來(lái)越重要和受關(guān)注,。”

朱軍認(rèn)為,，需要提升安全評(píng)測(cè)能力,，大模型可能會(huì)有角色扮演或者誤導(dǎo)欺騙，應(yīng)該如何識(shí)別和防御,，數(shù)據(jù)投毒等方式和手段也要進(jìn)行評(píng)測(cè),，“大家可能會(huì)發(fā)現(xiàn)，如果故意混淆一些提示,，Prompt會(huì)讓大模型誤把原來(lái)不符合規(guī)定的東西生成出來(lái),，這是比較常見(jiàn)的現(xiàn)象，評(píng)測(cè)中需要重點(diǎn)關(guān)注,。AIGC需要加入標(biāo)識(shí),，評(píng)價(jià)的過(guò)程中也需要針對(duì)標(biāo)識(shí)的不可感知性、容量、魯棒性,、安全性進(jìn)行全面評(píng)估,。”

在周達(dá)偉看來(lái),，過(guò)去很注重的是遠(yuǎn)程安全和應(yīng)用安全,，但在大模型的產(chǎn)業(yè)互聯(lián)網(wǎng)時(shí)代，會(huì)更注重?cái)?shù)據(jù)安全,，以及API（Application Programming Interface,，應(yīng)用程序編程接口）安全，“我們從流量去看,，現(xiàn)在最新的數(shù)據(jù)有83%的網(wǎng)頁(yè)應(yīng)用和API有直接關(guān)系,，其中27%的相關(guān)攻擊是針對(duì)API做出的，所以我們應(yīng)該更加注重了解以及保護(hù)數(shù)據(jù)安全,，包括API安全的部分,。”

用人工智能防御人工智能風(fēng)險(xiǎn)

貝殼財(cái)經(jīng)記者注意到,，我國(guó)對(duì)人工智能治理非常重視,，已經(jīng)發(fā)布了一系列重要規(guī)定和法律,，包括《AIGC服務(wù)管理辦法（征求意見(jiàn)稿）》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等,。

朱軍表示，數(shù)據(jù)在標(biāo)注,、訓(xùn)練,、使用、部署的過(guò)程中都會(huì)涉及安全問(wèn)題,。如何保護(hù)隱私,，讓敏感數(shù)據(jù)信息不泄露，甚至不出現(xiàn)關(guān)鍵數(shù)據(jù)的安全問(wèn)題,；服務(wù)本身是否透明,，算法有無(wú)偏見(jiàn)，是否公平公正等都需要關(guān)注,。

在他看來(lái),，解決人工智能的安全問(wèn)題，需要從人工智能基礎(chǔ)嘗試,，因?yàn)槿斯ぶ悄艽蟛糠侄俭w現(xiàn)在算法上,，算法原理本身是否能夠有可以克服的問(wèn)題，這需要從根本上解決,。針對(duì)深度學(xué)習(xí),、深度神經(jīng)網(wǎng)絡(luò)，學(xué)術(shù)界一直在探索第三代人工智能新的范式，希望能夠?qū)?shù)據(jù)和知識(shí)有機(jī)融合在一起,，發(fā)展更加安全可靠的人工智能框架,。

貝殼財(cái)經(jīng)記者發(fā)現(xiàn)，用技術(shù)手段甚至人工智能來(lái)防御人工智能帶來(lái)的風(fēng)險(xiǎn),，已經(jīng)成為了從業(yè)者探索的領(lǐng)域之一,。

“我們可以發(fā)展人工智能，更重要的是我們要防止不良意圖的人利用人工智能來(lái)破壞人工智能,，來(lái)攻擊人工智能,，我們要學(xué)習(xí)如何利用人工智能來(lái)強(qiáng)化人工智能的安全保障?！敝苓_(dá)偉說(shuō),。

亞信安全終端安全產(chǎn)品總經(jīng)理汪晨對(duì)貝殼財(cái)經(jīng)記者表示，實(shí)際上早在幾年前就已經(jīng)實(shí)現(xiàn)了人工智能的機(jī)器學(xué)習(xí)技術(shù),，“人工智能有監(jiān)督學(xué)習(xí),，無(wú)監(jiān)督學(xué)習(xí)，包括其他一些方式,，但是最能落地的是有監(jiān)督學(xué)習(xí),，原理就是通過(guò)大量的樣本訓(xùn)練，來(lái)讓我們的模型或者說(shuō)我們的機(jī)器學(xué)習(xí)能夠甄別出防病毒軟件的DNA,?！?/p>

汪晨認(rèn)為，一方面,，AI技術(shù)可以幫助甄別出病毒軟件的DNA,，即使他們進(jìn)行了偽裝，也能識(shí)別出其是黑是白,；但另一方面,，因?yàn)锳I需要通過(guò)大量數(shù)據(jù)訓(xùn)練才能獲得能力，如果用黑客污染過(guò)的數(shù)據(jù)進(jìn)行訓(xùn)練,，訓(xùn)練出的模型就會(huì)存在漏洞,。如何確保訓(xùn)練數(shù)據(jù)的準(zhǔn)確率和精準(zhǔn)度，是目前面臨的新挑戰(zhàn),。

“需要構(gòu)建有效的治理工具平臺(tái),，前期我們做了探索，包括人工智能本身的安全平臺(tái),，安全評(píng)測(cè),、防御和整個(gè)態(tài)勢(shì)的評(píng)估，包括對(duì)抗樣本這些場(chǎng)景,，可以通過(guò)平臺(tái)化的方式對(duì)人工智能的算法和服務(wù)進(jìn)行評(píng)測(cè),。特殊專(zhuān)業(yè)的應(yīng)用場(chǎng)景，要專(zhuān)門(mén)針對(duì)對(duì)抗樣本檢測(cè)、偽造視頻檢測(cè)等進(jìn)行防護(hù),，這是人臉識(shí)別的防火墻,，現(xiàn)在金融行業(yè)也在部署和應(yīng)用?！敝燔姳硎?，“我們也有打造人工智能安全靶場(chǎng)，大家可以看到攻擊和防御其實(shí)是一個(gè)博弈的過(guò)程,，就像在網(wǎng)絡(luò)安全時(shí)代,，人工智能時(shí)代也需要可行的安全靶場(chǎng)。平臺(tái)可以將人工智能算法早期的風(fēng)險(xiǎn)發(fā)現(xiàn)和相應(yīng)的防御進(jìn)行有效診斷,、提升和持續(xù)演化,。”

360公司創(chuàng)始人,、董事長(zhǎng)兼CEO周鴻祎參加人工智能高峰論壇時(shí)表示,，每個(gè)企業(yè)內(nèi)部自己的“knowhow”（專(zhuān)業(yè)技術(shù)/技術(shù)訣竅）是核心資產(chǎn)，肯定不能拿來(lái)訓(xùn)練公有大模型,，“公有大模型使用會(huì)有數(shù)據(jù)泄露的問(wèn)題,，因?yàn)楹芏嘞敕ê陀?jì)劃都要告訴它，才能寫(xiě)出一篇好文章,?！?/p>

而汪晨則對(duì)記者表示，終端安全極為重要,，“當(dāng)前網(wǎng)絡(luò)環(huán)境確實(shí)發(fā)生了新的變化,。第一,，整個(gè)網(wǎng)絡(luò)加密流量增多了,，所以在網(wǎng)絡(luò)側(cè)很難看清危險(xiǎn)，85%的黑客攻擊是潛伏在網(wǎng)絡(luò)加密流量里面,，只有在終端增強(qiáng)之后才能看清和搞定,。第二，隨著企業(yè)數(shù)字化的轉(zhuǎn)型,，都是通過(guò)終端訪(fǎng)問(wèn)數(shù)字化（資產(chǎn)）,，如果終端產(chǎn)品做不好會(huì)影響你的數(shù)字化轉(zhuǎn)型的進(jìn)程?！?/p>

新京報(bào)貝殼財(cái)經(jīng)記者 羅亦丹 編輯 岳彩周 校對(duì) 翟永軍

記者聯(lián)系郵箱：[email protected]