7月12日,，在2023新京報貝殼財經(jīng)夏季峰會“人工智能潮涌 生成數(shù)智未來”主題論壇上，螞蟻安全天筭實驗室首席科學家、螞蟻集團可信AI技術負責人張?zhí)煲肀硎荆癆I的通用能力和可信要素是大模型發(fā)展的雙翼,。負責任,、可信的人工智能,，已經(jīng)成為AI發(fā)展一定需要考量的維度,。”

螞蟻安全天筭實驗室首席科學家,、螞蟻集團可信AI技術負責人張?zhí)煲?/p>

大模型帶來新AI時代的風險和挑戰(zhàn)

2023 年,，以大語言模型為代表的生成式人工智能興起了新一輪 AI 浪潮，AI的通用能力大幅提升,，同時使用門檻卻大幅下降,，給產(chǎn)業(yè)數(shù)字化、以及各行各業(yè)的創(chuàng)新都帶來巨大的想象力空間,。

“大模型是新AI時代到來的標志,。”張?zhí)煲碚f,，“但同時,，大家也很快注意到，AI技術的固有風險也被極度擴大,，伴隨著能力的突破性進展和智能涌現(xiàn),，帶來了更隱蔽、破壞性更強的風險,。如此強大能力的技術,，結合低門檻的應用，在數(shù)字網(wǎng)絡中打開了更大的風險敞口,?！?/p>

近日，國家網(wǎng)信辦等七部門聯(lián)合公布《生成式人工智能服務管理暫行辦法》，自2023年8月15日起施行,，旨在促進生成式人工智能健康發(fā)展和規(guī)范應用,，維護國家安全和社會公共利益，保護公民,、法人和其他組織的合法權益,。國家互聯(lián)網(wǎng)信息辦公室有關負責人指出，生成式人工智能服務的發(fā)展與治理需要政府,、企業(yè),、社會、網(wǎng)民等多方參與,。

據(jù)了解,，螞蟻集團對智能化技術的投入比較早，基于大規(guī)模業(yè)務場景的需求,，布局了包括知識圖譜,、運籌優(yōu)化、圖學習,、可信AI,、大模型等在內的AI技術。

可信AI是螞蟻集團在人工智能領域的重點布局之一,。螞蟻集團從2015年就開啟了可信AI技術的探索和實踐,；2021年，其提出了可信AI技術架構的同時,，斷言“可信AI是數(shù)字化時代抵御風險的核心能力”,；2022年，螞蟻集團的核心觀點是要通過“開放的可信AI技術生態(tài)助力數(shù)字經(jīng)濟”,。通過可信AI技術的突破,，螞蟻集團建設了一套世界領先的智能風控解決方案，支撐了支付寶的資損率連續(xù)三年低于億分之一,，保障了十幾億人的數(shù)字化服務體驗,。

而在今年大模型出現(xiàn)，新AI時代到來的背景下,，張?zhí)煲肀硎?，這也給可信AI技術提出了更高的要求，所以螞蟻集團今年的觀察和拋出的觀點就是“新AI時代亟需安全,、可靠,、可控的AI技術”。

張?zhí)煲砼e例稱,，生成式大模型存在“AI幻覺”,，即“一本正經(jīng)的胡說八道”,。比如,，當模型在面對“不知道”的輸入問題,，時常使用虛構或偽造的結論來充當問題的答案。同時,，針對用戶否定的提示信息,，模型也會趨于否定先前的推理結果以迎合用戶的提示，這種就被稱為大模型的“幻覺性”問題,。

大模型因其算法的高度復雜性和不確定性,、模型運行的強自主性導致“黑箱”問題和不可解釋，使得其決策鏈路存在高度不理解和不可控性,。此外,，大模型的隱患還包括隱私安全問題和偏見、歧視性等公平問題,。

針對大模型等AI創(chuàng)新所帶來的風險,，張?zhí)煲肀硎荆訟I 安全和魯棒性,、可解釋性,、隱私保護和公平性為核心的可信AI已經(jīng)成為新階段平衡AI創(chuàng)新與風險的核心技術手段。

如何為大模型“保駕護航”,？保障用戶輸入,、大模型服務、生成輸出三環(huán)節(jié)

螞蟻安全天筭實驗室首席科學家,、螞蟻集團可信AI技術負責人張?zhí)煲?/p>

“在新AI時代,，我們看到的不僅是機遇，還有挑戰(zhàn),?！睆?zhí)煲碚f，“為解決大模型的安全問題,，我們需要在用戶輸入,、大模型服務和生成輸出三個環(huán)節(jié)做出保障，使得其在應用過程中更加安全,、可靠,、可控”?！?/p>

第一是圍欄防御,，“我們對用戶輸入過程中的意圖、話題本身,、以及是否有誘導攻擊等進行原子化識別,，檢測輸入中可能包含的各種內容風險、數(shù)據(jù)安全風險、倫理風險和合規(guī)風險等問題,?！彼硎尽?/p>

“第二是,，當發(fā)現(xiàn)有風險的時候,，需要能夠快速響應。因此,，我們構建了極速防御的機制,，通過極速防御技術，快速迭代風險防控能力,?！睆?zhí)煲碚f，“最后是情景防御,。大模型因其使用場景的廣泛,，以及語境本身對其表達的含義的影響，我們需要在特定場景下,，感知其環(huán)境,，并在跟用戶的多輪交互中，結合多源信息融合綜合判斷風險進行防御,?！?/p>

此外，針對大模型“深度黑盒”帶來的不可控性,，螞蟻集團在大模型的訓練和應用過程中,，通過數(shù)據(jù)“去毒”、系統(tǒng)解構,、對抗訓練,、可解釋研究等技術手段，探索模型可控的保障,。

例如,，螞蟻集團基于多源異構數(shù)據(jù)源，通過不同風險領域專家模型的訓練,，實現(xiàn)了大模型的解構,，當大模型的交互內容內包含一些倫理傾向時，就可以自動選擇倫理風險的網(wǎng)絡結構,，實現(xiàn)大模型輸出上的“去毒”（抹除倫理信息和價值引導）,。

“通過模型解構設計，我們可以使得大模型的具象風險大幅下降,，比如犯罪風險漏過下降58.8%,。另外,，通過RLHF/RRHF（強化學習）的方式，在支付寶AI反詐產(chǎn)品“叫醒熱線”中應用語言大模型,，做了4個關鍵設計來確保最終輸出給用戶的叫醒內容可控,。這一可控能力的應用，助力支付寶體系內電詐案件率下降10%,?！睆?zhí)煲碚f。

近期,，隨著大模型和AIGC（AI生產(chǎn)內容）的爆發(fā)式增長，相關評估檢測也受到廣泛關注,。目前關于AIGC的評估主要包括通用能力評測（helpful）與安全性（harmless）評測兩大方向,。

據(jù)了解，在7月7日舉辦的2023世界人工智能大會上,，螞蟻集團聯(lián)合清華大學發(fā)布AI安全檢測平臺“蟻鑒2.0”,，面向全球開發(fā)者免費提供AIGC安全性、AI可解釋性,、AI魯棒性三項檢測工具,。該平臺是業(yè)內首個實現(xiàn)產(chǎn)業(yè)級應用的全數(shù)據(jù)類型AI安全檢測平臺，覆蓋表格,、文本,、圖像等多種數(shù)據(jù)和任務類型，可服務于數(shù)字金融,、教育,、文化、醫(yī)療,、電商等領域的大規(guī)模復雜業(yè)務場景,。

“蟻鑒2.0”的兩項硬核能力，一是實現(xiàn)了用生成式AI能力檢測生成式AI模型,，可以對生成式內容完成包括數(shù)據(jù)安全,、內容安全、科技倫理三大類的數(shù)百種風險對抗檢測,，并會生成檢測報告,，幫助大模型更加有針對性地持續(xù)優(yōu)化。

另一項硬核能力是,，“蟻鑒2.0”融入了可解釋性檢測工具,。綜合AI技術和專家先驗知識，通過可視化,、邏輯推理,、因果推斷等技術,，從完整性、準確性,、穩(wěn)定性等7個維度及20余項評估指標,，對AI系統(tǒng)的解釋質量量化分析，幫助用戶更清晰驗證與優(yōu)化可解釋方案,。

“我們的設想是希望能打造普惠,、高效、以及魯棒可靠的安全科技,，成為行業(yè)數(shù)字化轉型升級最得力的助手,。”張?zhí)煲肀硎尽?/p>

文/羅亦丹

編輯 宋鈺婷

校對 朱名恬 盧茜