7月12日,，在2023新京報(bào)貝殼財(cái)經(jīng)夏季峰會(huì)“人工智能潮涌 生成數(shù)智未來(lái)”主題論壇上,，螞蟻安全天筭實(shí)驗(yàn)室首席科學(xué)家,、螞蟻集團(tuán)可信AI技術(shù)負(fù)責(zé)人張?zhí)煲肀硎?，“AI的通用能力和可信要素是大模型發(fā)展的雙翼,。負(fù)責(zé)任,、可信的人工智能,，已經(jīng)成為AI發(fā)展一定需要考量的維度,。”

螞蟻安全天筭實(shí)驗(yàn)室首席科學(xué)家,、螞蟻集團(tuán)可信AI技術(shù)負(fù)責(zé)人張?zhí)煲?/p>

大模型帶來(lái)新AI時(shí)代的風(fēng)險(xiǎn)和挑戰(zhàn)

2023 年,，以大語(yǔ)言模型為代表的生成式人工智能興起了新一輪 AI 浪潮，AI的通用能力大幅提升,，同時(shí)使用門(mén)檻卻大幅下降,，給產(chǎn)業(yè)數(shù)字化,、以及各行各業(yè)的創(chuàng)新都帶來(lái)巨大的想象力空間。

“大模型是新AI時(shí)代到來(lái)的標(biāo)志,?！睆?zhí)煲碚f(shuō)，“但同時(shí),，大家也很快注意到,，AI技術(shù)的固有風(fēng)險(xiǎn)也被極度擴(kuò)大，伴隨著能力的突破性進(jìn)展和智能涌現(xiàn),，帶來(lái)了更隱蔽,、破壞性更強(qiáng)的風(fēng)險(xiǎn)。如此強(qiáng)大能力的技術(shù),，結(jié)合低門(mén)檻的應(yīng)用，在數(shù)字網(wǎng)絡(luò)中打開(kāi)了更大的風(fēng)險(xiǎn)敞口,?！?/p>

近日，國(guó)家網(wǎng)信辦等七部門(mén)聯(lián)合公布《生成式人工智能服務(wù)管理暫行辦法》,，自2023年8月15日起施行,，旨在促進(jìn)生成式人工智能健康發(fā)展和規(guī)范應(yīng)用，維護(hù)國(guó)家安全和社會(huì)公共利益,，保護(hù)公民,、法人和其他組織的合法權(quán)益。國(guó)家互聯(lián)網(wǎng)信息辦公室有關(guān)負(fù)責(zé)人指出,，生成式人工智能服務(wù)的發(fā)展與治理需要政府,、企業(yè)、社會(huì),、網(wǎng)民等多方參與,。

據(jù)了解，螞蟻集團(tuán)對(duì)智能化技術(shù)的投入比較早,，基于大規(guī)模業(yè)務(wù)場(chǎng)景的需求,，布局了包括知識(shí)圖譜、運(yùn)籌優(yōu)化,、圖學(xué)習(xí),、可信AI、大模型等在內(nèi)的AI技術(shù),。

可信AI是螞蟻集團(tuán)在人工智能領(lǐng)域的重點(diǎn)布局之一,。螞蟻集團(tuán)從2015年就開(kāi)啟了可信AI技術(shù)的探索和實(shí)踐；2021年,，其提出了可信AI技術(shù)架構(gòu)的同時(shí),，斷言“可信AI是數(shù)字化時(shí)代抵御風(fēng)險(xiǎn)的核心能力”,；2022年，螞蟻集團(tuán)的核心觀點(diǎn)是要通過(guò)“開(kāi)放的可信AI技術(shù)生態(tài)助力數(shù)字經(jīng)濟(jì)”,。通過(guò)可信AI技術(shù)的突破,，螞蟻集團(tuán)建設(shè)了一套世界領(lǐng)先的智能風(fēng)控解決方案，支撐了支付寶的資損率連續(xù)三年低于億分之一,，保障了十幾億人的數(shù)字化服務(wù)體驗(yàn),。

而在今年大模型出現(xiàn)，新AI時(shí)代到來(lái)的背景下,，張?zhí)煲肀硎?，這也給可信AI技術(shù)提出了更高的要求，所以螞蟻集團(tuán)今年的觀察和拋出的觀點(diǎn)就是“新AI時(shí)代亟需安全,、可靠,、可控的AI技術(shù)”。

張?zhí)煲砼e例稱(chēng),，生成式大模型存在“AI幻覺(jué)”,，即“一本正經(jīng)的胡說(shuō)八道”。比如,，當(dāng)模型在面對(duì)“不知道”的輸入問(wèn)題,，時(shí)常使用虛構(gòu)或偽造的結(jié)論來(lái)充當(dāng)問(wèn)題的答案。同時(shí),，針對(duì)用戶(hù)否定的提示信息,，模型也會(huì)趨于否定先前的推理結(jié)果以迎合用戶(hù)的提示，這種就被稱(chēng)為大模型的“幻覺(jué)性”問(wèn)題,。

大模型因其算法的高度復(fù)雜性和不確定性,、模型運(yùn)行的強(qiáng)自主性導(dǎo)致“黑箱”問(wèn)題和不可解釋?zhuān)沟闷錄Q策鏈路存在高度不理解和不可控性。此外,，大模型的隱患還包括隱私安全問(wèn)題和偏見(jiàn),、歧視性等公平問(wèn)題。

針對(duì)大模型等AI創(chuàng)新所帶來(lái)的風(fēng)險(xiǎn),，張?zhí)煲肀硎?，以AI 安全和魯棒性、可解釋性,、隱私保護(hù)和公平性為核心的可信AI已經(jīng)成為新階段平衡AI創(chuàng)新與風(fēng)險(xiǎn)的核心技術(shù)手段,。

如何為大模型“保駕護(hù)航”？保障用戶(hù)輸入,、大模型服務(wù),、生成輸出三環(huán)節(jié)

螞蟻安全天筭實(shí)驗(yàn)室首席科學(xué)家、螞蟻集團(tuán)可信AI技術(shù)負(fù)責(zé)人張?zhí)煲?/p>

“在新AI時(shí)代,，我們看到的不僅是機(jī)遇,，還有挑戰(zhàn),。”張?zhí)煲碚f(shuō),，“為解決大模型的安全問(wèn)題,，我們需要在用戶(hù)輸入、大模型服務(wù)和生成輸出三個(gè)環(huán)節(jié)做出保障,，使得其在應(yīng)用過(guò)程中更加安全,、可靠、可控”,?！?/p>

第一是圍欄防御，“我們對(duì)用戶(hù)輸入過(guò)程中的意圖,、話題本身,、以及是否有誘導(dǎo)攻擊等進(jìn)行原子化識(shí)別，檢測(cè)輸入中可能包含的各種內(nèi)容風(fēng)險(xiǎn),、數(shù)據(jù)安全風(fēng)險(xiǎn),、倫理風(fēng)險(xiǎn)和合規(guī)風(fēng)險(xiǎn)等問(wèn)題?！彼硎尽?/p>

“第二是,，當(dāng)發(fā)現(xiàn)有風(fēng)險(xiǎn)的時(shí)候,，需要能夠快速響應(yīng)。因此,，我們構(gòu)建了極速防御的機(jī)制,，通過(guò)極速防御技術(shù)，快速迭代風(fēng)險(xiǎn)防控能力,?！睆?zhí)煲碚f(shuō)，“最后是情景防御,。大模型因其使用場(chǎng)景的廣泛,，以及語(yǔ)境本身對(duì)其表達(dá)的含義的影響，我們需要在特定場(chǎng)景下,，感知其環(huán)境,，并在跟用戶(hù)的多輪交互中，結(jié)合多源信息融合綜合判斷風(fēng)險(xiǎn)進(jìn)行防御,?！?/p>

此外，針對(duì)大模型“深度黑盒”帶來(lái)的不可控性,，螞蟻集團(tuán)在大模型的訓(xùn)練和應(yīng)用過(guò)程中,，通過(guò)數(shù)據(jù)“去毒”,、系統(tǒng)解構(gòu)、對(duì)抗訓(xùn)練,、可解釋研究等技術(shù)手段,，探索模型可控的保障。

例如,，螞蟻集團(tuán)基于多源異構(gòu)數(shù)據(jù)源,，通過(guò)不同風(fēng)險(xiǎn)領(lǐng)域?qū)＜夷Ｐ偷挠?xùn)練，實(shí)現(xiàn)了大模型的解構(gòu),，當(dāng)大模型的交互內(nèi)容內(nèi)包含一些倫理傾向時(shí),，就可以自動(dòng)選擇倫理風(fēng)險(xiǎn)的網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)大模型輸出上的“去毒”（抹除倫理信息和價(jià)值引導(dǎo)）,。

“通過(guò)模型解構(gòu)設(shè)計(jì),，我們可以使得大模型的具象風(fēng)險(xiǎn)大幅下降，比如犯罪風(fēng)險(xiǎn)漏過(guò)下降58.8%,。另外,，通過(guò)RLHF/RRHF（強(qiáng)化學(xué)習(xí)）的方式，在支付寶AI反詐產(chǎn)品“叫醒熱線”中應(yīng)用語(yǔ)言大模型,，做了4個(gè)關(guān)鍵設(shè)計(jì)來(lái)確保最終輸出給用戶(hù)的叫醒內(nèi)容可控,。這一可控能力的應(yīng)用，助力支付寶體系內(nèi)電詐案件率下降10%,?！睆?zhí)煲碚f(shuō)。

近期,，隨著大模型和AIGC（AI生產(chǎn)內(nèi)容）的爆發(fā)式增長(zhǎng),，相關(guān)評(píng)估檢測(cè)也受到廣泛關(guān)注。目前關(guān)于AIGC的評(píng)估主要包括通用能力評(píng)測(cè)（helpful）與安全性（harmless）評(píng)測(cè)兩大方向,。

據(jù)了解,，在7月7日舉辦的2023世界人工智能大會(huì)上，螞蟻集團(tuán)聯(lián)合清華大學(xué)發(fā)布AI安全檢測(cè)平臺(tái)“蟻鑒2.0”,，面向全球開(kāi)發(fā)者免費(fèi)提供AIGC安全性,、AI可解釋性、AI魯棒性三項(xiàng)檢測(cè)工具,。該平臺(tái)是業(yè)內(nèi)首個(gè)實(shí)現(xiàn)產(chǎn)業(yè)級(jí)應(yīng)用的全數(shù)據(jù)類(lèi)型AI安全檢測(cè)平臺(tái),，覆蓋表格、文本,、圖像等多種數(shù)據(jù)和任務(wù)類(lèi)型,，可服務(wù)于數(shù)字金融、教育,、文化,、醫(yī)療,、電商等領(lǐng)域的大規(guī)模復(fù)雜業(yè)務(wù)場(chǎng)景。

“蟻鑒2.0”的兩項(xiàng)硬核能力,，一是實(shí)現(xiàn)了用生成式AI能力檢測(cè)生成式AI模型,，可以對(duì)生成式內(nèi)容完成包括數(shù)據(jù)安全、內(nèi)容安全,、科技倫理三大類(lèi)的數(shù)百種風(fēng)險(xiǎn)對(duì)抗檢測(cè),，并會(huì)生成檢測(cè)報(bào)告，幫助大模型更加有針對(duì)性地持續(xù)優(yōu)化,。

另一項(xiàng)硬核能力是,，“蟻鑒2.0”融入了可解釋性檢測(cè)工具。綜合AI技術(shù)和專(zhuān)家先驗(yàn)知識(shí),，通過(guò)可視化,、邏輯推理、因果推斷等技術(shù),，從完整性,、準(zhǔn)確性、穩(wěn)定性等7個(gè)維度及20余項(xiàng)評(píng)估指標(biāo),，對(duì)AI系統(tǒng)的解釋質(zhì)量量化分析,，幫助用戶(hù)更清晰驗(yàn)證與優(yōu)化可解釋方案。

“我們的設(shè)想是希望能打造普惠,、高效,、以及魯棒可靠的安全科技，成為行業(yè)數(shù)字化轉(zhuǎn)型升級(jí)最得力的助手,?！睆?zhí)煲肀硎尽?/p>

文/羅亦丹

編輯 宋鈺婷

校對(duì) 朱名恬 盧茜