原生多模態(tài),，被認(rèn)為是通往AGI的必經(jīng)之路,。

多模態(tài)大模型技術(shù)能使AI更好理解人類(lèi)世界的復(fù)雜信息,，也能讓AI落地應(yīng)用時(shí)更符合人類(lèi)的交互習(xí)慣,，在智能客服,、自動(dòng)駕駛,、醫(yī)療診斷等多個(gè)領(lǐng)域展現(xiàn)出巨大應(yīng)用潛力,。

不過(guò)，當(dāng)多模態(tài)能力讓AI更像人時(shí),，也會(huì)帶來(lái)很多隱憂,。被AI換臉后，誰(shuí)能鑒別這個(gè)人不是我,？

升級(jí)多模態(tài)能力,，讓AI更像真人

7月5日，螞蟻集團(tuán)公布了其自研的百靈大模型最新研發(fā)進(jìn)展：百靈大模型已具備能“看”會(huì)“聽(tīng)”,、能“說(shuō)”會(huì)“畫(huà)”的原生多模態(tài)能力,，可以直接理解并訓(xùn)練音頻、視頻,、圖,、文等多模態(tài)數(shù)據(jù)。

記者從大會(huì)現(xiàn)場(chǎng)的演示看到,，多模態(tài)技術(shù)可以讓大模型更像人一樣感知和互動(dòng),，支撐智能體體驗(yàn)升級(jí)，比如百靈的多模態(tài)能力已應(yīng)用于“支付寶智能助理”上,，未來(lái)還將支持更多智能體升級(jí),。

據(jù)了解，百靈大模型多模態(tài)能力,，在中文圖文理解MMBench-CN評(píng)測(cè)集上達(dá)到GPT-4o水平,，在信通院多模態(tài)安全能力評(píng)測(cè)達(dá)到優(yōu)秀級(jí)（最高），具備支持規(guī)?；瘧?yīng)用的能力,，能支持AIGC、圖文對(duì)話,、視頻理解、數(shù)字人等一系列下游任務(wù),。

發(fā)布現(xiàn)場(chǎng),，螞蟻集團(tuán)副總裁徐鵬展示了新升級(jí)的多模態(tài)技術(shù)可實(shí)現(xiàn)的更多應(yīng)用場(chǎng)景：通過(guò)視頻對(duì)話的自然形式,，AI助理能為用戶識(shí)別穿著打扮，給出約會(huì)的搭配建議,；根據(jù)用戶不同的意圖,，從一堆食材中搭配出不同的菜譜組合；根據(jù)用戶描述的身體癥狀,，從一批藥物中,，挑選出可能合適的藥，并讀出服用指導(dǎo),，供用戶參考等,。

基于百靈大模型多模態(tài)能力，螞蟻集團(tuán)已在探索規(guī)模應(yīng)用落地產(chǎn)業(yè)的實(shí)踐,。同時(shí)發(fā)布的“支付寶多模態(tài)醫(yī)療大模型”,，便是這一探索的實(shí)踐。據(jù)了解,，支付寶多模態(tài)醫(yī)療大模型添加了包含報(bào)告,、影像、藥品等多模態(tài)信息在內(nèi)的百億級(jí)中英文圖文,、千億級(jí)醫(yī)療文本語(yǔ)料,、以及千萬(wàn)級(jí)高質(zhì)量醫(yī)療知識(shí)圖譜，具備專(zhuān)業(yè)醫(yī)學(xué)知識(shí),，在中文醫(yī)療 LLM 評(píng)測(cè)榜單 promptCBLUE 上,，取得 A 榜第一，B 榜第二的成績(jī),。

AI換臉不用怕,，鑒真功能來(lái)了

同一天,，螞蟻集團(tuán)聯(lián)合清華大學(xué)發(fā)布大模型安全一體化解決方案“蟻天鑒”2.0版。蟻天鑒2.0新增AI鑒真功能,，支持圖像,、視頻等多模態(tài)內(nèi)容真實(shí)性及深度偽造檢測(cè)；并在測(cè)評(píng)功能上持續(xù)升級(jí),，打造了大模型安全測(cè)評(píng)“智能體”,，并新增大模型X光、大模型基礎(chǔ)設(shè)施測(cè)評(píng)兩大測(cè)評(píng)功能,。

至此,，蟻天鑒2.0形成了包括大模型基礎(chǔ)設(shè)施測(cè)評(píng)、大模型X光測(cè)評(píng),、應(yīng)用安全測(cè)評(píng),、AIGC濫用檢測(cè),、證件偽造檢測(cè)、圍欄防御等在內(nèi)的完整技術(shù)鏈條,，面向行業(yè)提供全方位智能化的大模型安全測(cè)評(píng)和防御解決方案,。

記者從現(xiàn)場(chǎng)了解到，蟻天鑒2.0在防御端新增「AI鑒真」功能,。支持多模態(tài)內(nèi)容真實(shí)性及深度偽造檢測(cè),，可快速精準(zhǔn)鑒別圖像、視頻,、音頻,、文本內(nèi)容的真?zhèn)危瑘D像識(shí)別準(zhǔn)確率99.9%達(dá)到行業(yè)最高優(yōu)秀級(jí)（信通院測(cè)評(píng)）,。

目前,，蟻天鑒2.0依托生成模型自建百萬(wàn)量級(jí)音視圖多模態(tài)合成數(shù)據(jù)集，覆蓋主流生成方案,，有效應(yīng)對(duì)AI換臉,、聲音模擬、證件偽造等各類(lèi)深度偽造風(fēng)險(xiǎn)場(chǎng)景,。

而在測(cè)評(píng)端,，蟻天鑒2.0研發(fā)了業(yè)內(nèi)首個(gè)“測(cè)評(píng)智能體”,。該測(cè)評(píng)智能體提供全流程自動(dòng)化的安全測(cè)評(píng)工具，支持各種形式模型和深度學(xué)習(xí)框架,，可擴(kuò)展測(cè)評(píng)垂類(lèi)大模型,、多模態(tài)大模型及Agent智能體，并能根據(jù)被測(cè)大模型的安全水位動(dòng)態(tài)調(diào)整攻擊策略和出具測(cè)試用例,，保障測(cè)評(píng)效果和效率,。

目前，蟻天鑒2.0有超300萬(wàn)高質(zhì)量測(cè)評(píng)題庫(kù),，支持最高50萬(wàn)/日的飽和式攻擊和逐級(jí)誘導(dǎo)深度攻擊,，并實(shí)現(xiàn)了1工作日內(nèi)完成測(cè)評(píng)，全流程自動(dòng)化率＞99%,。

與此同時(shí),，該智能體也增加了兩項(xiàng)新功能。一是「大模型X-ray」,。即大模型X光,，可針對(duì)大模型的內(nèi)在神經(jīng)元進(jìn)行X光掃描來(lái)做探查和判斷，讓研究人員了解大模型內(nèi)部在發(fā)生什么,、定位可能引發(fā)風(fēng)險(xiǎn)的神經(jīng)元,、并進(jìn)行編輯修正,，從而在模型內(nèi)部治理幻覺(jué),，實(shí)現(xiàn)從源頭識(shí)別和抑制風(fēng)險(xiǎn),。二是「大模型基礎(chǔ)設(shè)施測(cè)評(píng)」。

此前蟻天鑒的測(cè)評(píng)能力主要集中于大模型生成的內(nèi)容安全,、合規(guī)風(fēng)險(xiǎn)等檢測(cè),。蟻天鑒2.0從攻擊者全鏈路視角出發(fā)，深入掃描模型算法組件及軟件系統(tǒng),，可及時(shí)準(zhǔn)確發(fā)現(xiàn)大模型供應(yīng)鏈及運(yùn)行環(huán)境安全問(wèn)題,，保障云到端的應(yīng)用安全可控。