原生多模態(tài),，被認(rèn)為是通往AGI的必經(jīng)之路。

多模態(tài)大模型技術(shù)能使AI更好理解人類世界的復(fù)雜信息,，也能讓AI落地應(yīng)用時更符合人類的交互習(xí)慣,，在智能客服、自動駕駛,、醫(yī)療診斷等多個領(lǐng)域展現(xiàn)出巨大應(yīng)用潛力,。

不過，當(dāng)多模態(tài)能力讓AI更像人時,，也會帶來很多隱憂,。被AI換臉后,，誰能鑒別這個人不是我？

升級多模態(tài)能力,，讓AI更像真人

7月5日,，螞蟻集團(tuán)公布了其自研的百靈大模型最新研發(fā)進(jìn)展：百靈大模型已具備能“看”會“聽”、能“說”會“畫”的原生多模態(tài)能力,，可以直接理解并訓(xùn)練音頻,、視頻、圖,、文等多模態(tài)數(shù)據(jù),。

記者從大會現(xiàn)場的演示看到，多模態(tài)技術(shù)可以讓大模型更像人一樣感知和互動,，支撐智能體體驗升級,，比如百靈的多模態(tài)能力已應(yīng)用于“支付寶智能助理”上，未來還將支持更多智能體升級,。

據(jù)了解,，百靈大模型多模態(tài)能力，在中文圖文理解MMBench-CN評測集上達(dá)到GPT-4o水平,，在信通院多模態(tài)安全能力評測達(dá)到優(yōu)秀級（最高）,，具備支持規(guī)模化應(yīng)用的能力,，能支持AIGC,、圖文對話、視頻理解,、數(shù)字人等一系列下游任務(wù)。

發(fā)布現(xiàn)場,，螞蟻集團(tuán)副總裁徐鵬展示了新升級的多模態(tài)技術(shù)可實現(xiàn)的更多應(yīng)用場景：通過視頻對話的自然形式,，AI助理能為用戶識別穿著打扮，給出約會的搭配建議,；根據(jù)用戶不同的意圖,，從一堆食材中搭配出不同的菜譜組合；根據(jù)用戶描述的身體癥狀,，從一批藥物中,，挑選出可能合適的藥，并讀出服用指導(dǎo),，供用戶參考等,。

基于百靈大模型多模態(tài)能力，螞蟻集團(tuán)已在探索規(guī)模應(yīng)用落地產(chǎn)業(yè)的實踐,。同時發(fā)布的“支付寶多模態(tài)醫(yī)療大模型”,，便是這一探索的實踐,。據(jù)了解，支付寶多模態(tài)醫(yī)療大模型添加了包含報告,、影像,、藥品等多模態(tài)信息在內(nèi)的百億級中英文圖文、千億級醫(yī)療文本語料,、以及千萬級高質(zhì)量醫(yī)療知識圖譜,，具備專業(yè)醫(yī)學(xué)知識，在中文醫(yī)療 LLM 評測榜單 promptCBLUE 上,，取得 A 榜第一,，B 榜第二的成績。

AI換臉不用怕，鑒真功能來了

同一天,，螞蟻集團(tuán)聯(lián)合清華大學(xué)發(fā)布大模型安全一體化解決方案“蟻天鑒”2.0版,。蟻天鑒2.0新增AI鑒真功能，支持圖像,、視頻等多模態(tài)內(nèi)容真實性及深度偽造檢測,；并在測評功能上持續(xù)升級，打造了大模型安全測評“智能體”,，并新增大模型X光,、大模型基礎(chǔ)設(shè)施測評兩大測評功能。

至此,，蟻天鑒2.0形成了包括大模型基礎(chǔ)設(shè)施測評,、大模型X光測評、應(yīng)用安全測評,、AIGC濫用檢測,、證件偽造檢測、圍欄防御等在內(nèi)的完整技術(shù)鏈條,，面向行業(yè)提供全方位智能化的大模型安全測評和防御解決方案,。

記者從現(xiàn)場了解到，蟻天鑒2.0在防御端新增「AI鑒真」功能,。支持多模態(tài)內(nèi)容真實性及深度偽造檢測,，可快速精準(zhǔn)鑒別圖像、視頻,、音頻,、文本內(nèi)容的真?zhèn)危瑘D像識別準(zhǔn)確率99.9%達(dá)到行業(yè)最高優(yōu)秀級（信通院測評）,。

目前,，蟻天鑒2.0依托生成模型自建百萬量級音視圖多模態(tài)合成數(shù)據(jù)集,，覆蓋主流生成方案，有效應(yīng)對AI換臉,、聲音模擬,、證件偽造等各類深度偽造風(fēng)險場景。

而在測評端，蟻天鑒2.0研發(fā)了業(yè)內(nèi)首個“測評智能體”,。該測評智能體提供全流程自動化的安全測評工具,，支持各種形式模型和深度學(xué)習(xí)框架，可擴(kuò)展測評垂類大模型,、多模態(tài)大模型及Agent智能體,，并能根據(jù)被測大模型的安全水位動態(tài)調(diào)整攻擊策略和出具測試用例，保障測評效果和效率,。

目前,，蟻天鑒2.0有超300萬高質(zhì)量測評題庫，支持最高50萬/日的飽和式攻擊和逐級誘導(dǎo)深度攻擊,，并實現(xiàn)了1工作日內(nèi)完成測評,，全流程自動化率＞99%。

與此同時,，該智能體也增加了兩項新功能,。一是「大模型X-ray」。即大模型X光,，可針對大模型的內(nèi)在神經(jīng)元進(jìn)行X光掃描來做探查和判斷,，讓研究人員了解大模型內(nèi)部在發(fā)生什么、定位可能引發(fā)風(fēng)險的神經(jīng)元,、并進(jìn)行編輯修正,，從而在模型內(nèi)部治理幻覺，實現(xiàn)從源頭識別和抑制風(fēng)險,。二是「大模型基礎(chǔ)設(shè)施測評」。

此前蟻天鑒的測評能力主要集中于大模型生成的內(nèi)容安全,、合規(guī)風(fēng)險等檢測,。蟻天鑒2.0從攻擊者全鏈路視角出發(fā)，深入掃描模型算法組件及軟件系統(tǒng),，可及時準(zhǔn)確發(fā)現(xiàn)大模型供應(yīng)鏈及運行環(huán)境安全問題,，保障云到端的應(yīng)用安全可控。