原生多模態(tài),，被認為是通往AGI的必經之路,。

多模態(tài)大模型技術能使AI更好理解人類世界的復雜信息，也能讓AI落地應用時更符合人類的交互習慣,，在智能客服,、自動駕駛、醫(yī)療診斷等多個領域展現(xiàn)出巨大應用潛力,。

不過,，當多模態(tài)能力讓AI更像人時,，也會帶來很多隱憂。被AI換臉后,，誰能鑒別這個人不是我,？

升級多模態(tài)能力，讓AI更像真人

7月5日,，螞蟻集團公布了其自研的百靈大模型最新研發(fā)進展：百靈大模型已具備能“看”會“聽”,、能“說”會“畫”的原生多模態(tài)能力，可以直接理解并訓練音頻,、視頻,、圖、文等多模態(tài)數據,。

記者從大會現(xiàn)場的演示看到,，多模態(tài)技術可以讓大模型更像人一樣感知和互動，支撐智能體體驗升級,，比如百靈的多模態(tài)能力已應用于“支付寶智能助理”上,，未來還將支持更多智能體升級。

據了解,，百靈大模型多模態(tài)能力,，在中文圖文理解MMBench-CN評測集上達到GPT-4o水平，在信通院多模態(tài)安全能力評測達到優(yōu)秀級（最高）,，具備支持規(guī)?；瘧玫哪芰Γ苤С諥IGC,、圖文對話,、視頻理解、數字人等一系列下游任務,。

發(fā)布現(xiàn)場,，螞蟻集團副總裁徐鵬展示了新升級的多模態(tài)技術可實現(xiàn)的更多應用場景：通過視頻對話的自然形式，AI助理能為用戶識別穿著打扮,，給出約會的搭配建議,；根據用戶不同的意圖，從一堆食材中搭配出不同的菜譜組合,；根據用戶描述的身體癥狀,，從一批藥物中，挑選出可能合適的藥,，并讀出服用指導,，供用戶參考等。

基于百靈大模型多模態(tài)能力，螞蟻集團已在探索規(guī)模應用落地產業(yè)的實踐,。同時發(fā)布的“支付寶多模態(tài)醫(yī)療大模型”,，便是這一探索的實踐。據了解,，支付寶多模態(tài)醫(yī)療大模型添加了包含報告,、影像、藥品等多模態(tài)信息在內的百億級中英文圖文,、千億級醫(yī)療文本語料,、以及千萬級高質量醫(yī)療知識圖譜，具備專業(yè)醫(yī)學知識,，在中文醫(yī)療 LLM 評測榜單 promptCBLUE 上,，取得 A 榜第一，B 榜第二的成績,。

AI換臉不用怕,，鑒真功能來了

同一天,，螞蟻集團聯(lián)合清華大學發(fā)布大模型安全一體化解決方案“蟻天鑒”2.0版。蟻天鑒2.0新增AI鑒真功能,，支持圖像,、視頻等多模態(tài)內容真實性及深度偽造檢測；并在測評功能上持續(xù)升級,，打造了大模型安全測評“智能體”,，并新增大模型X光、大模型基礎設施測評兩大測評功能,。

至此,，蟻天鑒2.0形成了包括大模型基礎設施測評、大模型X光測評,、應用安全測評,、AIGC濫用檢測、證件偽造檢測,、圍欄防御等在內的完整技術鏈條，面向行業(yè)提供全方位智能化的大模型安全測評和防御解決方案,。

記者從現(xiàn)場了解到,，蟻天鑒2.0在防御端新增「AI鑒真」功能。支持多模態(tài)內容真實性及深度偽造檢測,，可快速精準鑒別圖像,、視頻、音頻,、文本內容的真?zhèn)?，圖像識別準確率99.9%達到行業(yè)最高優(yōu)秀級（信通院測評）,。

目前，蟻天鑒2.0依托生成模型自建百萬量級音視圖多模態(tài)合成數據集,，覆蓋主流生成方案,，有效應對AI換臉、聲音模擬,、證件偽造等各類深度偽造風險場景,。

而在測評端,，蟻天鑒2.0研發(fā)了業(yè)內首個“測評智能體”。該測評智能體提供全流程自動化的安全測評工具,，支持各種形式模型和深度學習框架,，可擴展測評垂類大模型、多模態(tài)大模型及Agent智能體,，并能根據被測大模型的安全水位動態(tài)調整攻擊策略和出具測試用例,，保障測評效果和效率。

目前,，蟻天鑒2.0有超300萬高質量測評題庫,，支持最高50萬/日的飽和式攻擊和逐級誘導深度攻擊，并實現(xiàn)了1工作日內完成測評,，全流程自動化率＞99%,。

與此同時，該智能體也增加了兩項新功能,。一是「大模型X-ray」,。即大模型X光，可針對大模型的內在神經元進行X光掃描來做探查和判斷,，讓研究人員了解大模型內部在發(fā)生什么,、定位可能引發(fā)風險的神經元、并進行編輯修正,，從而在模型內部治理幻覺,，實現(xiàn)從源頭識別和抑制風險。二是「大模型基礎設施測評」,。

此前蟻天鑒的測評能力主要集中于大模型生成的內容安全,、合規(guī)風險等檢測。蟻天鑒2.0從攻擊者全鏈路視角出發(fā),，深入掃描模型算法組件及軟件系統(tǒng),，可及時準確發(fā)現(xiàn)大模型供應鏈及運行環(huán)境安全問題，保障云到端的應用安全可控。