來源：云知聲

近日,，人工智能國際頂級學(xué)術(shù)會議 AAAI 2024 落下帷幕，會上揭曉數(shù)字人技術(shù)競賽結(jié)果，由中國科學(xué)技術(shù)大學(xué)信息學(xué)院自動化系於俊老師帶隊的中國科學(xué)技術(shù)大學(xué)與云知聲共同組建的USTC-IAT-United團隊榮獲自監(jiān)督人臉幾何重建賽道第3名,、半監(jiān)督3D顱骨重建賽道第2名的優(yōu)異成績,。

AAAI,，即國際先進人工智能協(xié)會（Association for the Advancement of Artificial Intelligence）,，是全球人工智能領(lǐng)域內(nèi)的領(lǐng)先國際學(xué)術(shù)組織,。該協(xié)會的核心使命在于促進對思想和智能行為及其在機器中實現(xiàn)的科學(xué)機制的深入理解。其每年舉辦的國際會議是人工智能領(lǐng)域里歷史最悠久,、涵蓋內(nèi)容最廣泛的的國際頂級學(xué)術(shù)會議之一,，今年已是第38屆。

此次數(shù)字人技術(shù)競賽包含自監(jiān)督人臉幾何重建,、半監(jiān)督3D顱骨重建,、音頻驅(qū)動說話頭生成的多模態(tài)學(xué)習(xí)、音頻驅(qū)動的協(xié)同語音手勢視頻生成4個賽道,，匯集全球數(shù)百支高校和科研機構(gòu)的專業(yè)團隊參與競技,。

在自監(jiān)督人臉幾何重建挑戰(zhàn)賽中，面對數(shù)據(jù)缺乏,、幾何信息復(fù)雜,、光照和姿勢變化、紋理信息缺失,、過擬合和泛化能力不足等多重困難,，USTC-IAT-United團隊采用coarse-to-fine的框架，首先利用現(xiàn)有的3DMM-based方法deep3d,，預(yù)測人臉的低頻幾何部分,，生成對應(yīng)的position map及texture map,，為后續(xù)的細節(jié)預(yù)測奠定基礎(chǔ)；接著,，團隊運用兩個串聯(lián)的pix2pix網(wǎng)絡(luò),，分別預(yù)測deformation map和displacement map，進一步細化人臉的幾何特征,。通過結(jié)合預(yù)測的精細化幾何,、光照、優(yōu)化后的漫反射貼圖,，進行可微分渲染,，得到重建的人臉圖像。為了確保重建質(zhì)量,，團隊通過計算中頻和高頻渲染人臉與原圖之間的損失,，引導(dǎo)人臉幾何形態(tài)的細微變化，從而捕捉到更多的幾何細節(jié),。在整個過程中,，USTC-IAT-United團隊將人臉幾何分解為三個層次，分別在人臉整體,、頂點級別和像素細節(jié)上進行建模,，實現(xiàn)了人臉重建的高精度和高精細度。最終,，團隊從17個不同的視角出發(fā),，為重建的3D人臉生成了紋理和法線渲染圖像，充分展示了其在人臉幾何重建領(lǐng)域的技術(shù)突破和創(chuàng)新成果,。

在半監(jiān)督3D顱骨重建挑戰(zhàn)賽中,，面對標注數(shù)據(jù)的稀缺和不精確、領(lǐng)域偏差,、模型復(fù)雜性以及評估難題,，USTC-IAT-United運用偽標簽技術(shù)，充分發(fā)揮無標注數(shù)據(jù)的潛力,，通過半監(jiān)督學(xué)習(xí)方法增強模型訓(xùn)練,。為了提升模型性能，團隊設(shè)計了一種多模型交叉?zhèn)螛撕灢呗?，結(jié)合CNN和Transformer的特征提取優(yōu)勢,，實現(xiàn)了模型間的相互監(jiān)督，有效增強了特征提取能力,。同時,，團隊利用 ConvNeXt 模塊的可擴展性，針對稀疏注釋醫(yī)療的挑戰(zhàn)進行定制，設(shè)計用于 3D 醫(yī)學(xué)圖像分割的完全 ConvNeXt 架構(gòu),，并將其建立與 nnUNet (v2)訓(xùn)練框架之上,。此外，通過從2D和3D兩個維度進行模型融合,，進一步增強了3D顱骨重建水平,。

作為中國AGI技術(shù)產(chǎn)業(yè)化的先行者，云知聲于2016年建立了Atlas人工智能基礎(chǔ)設(shè)施,，并據(jù)此開發(fā)了具有通用能力的專有大模型山海（UniGPT），成為公司技術(shù)平臺云知大腦(UniBrain)的新核心,，與多模態(tài)感知與生成,、知識圖譜、物聯(lián)平臺等各類智能組件相結(jié)合,，為云知聲智慧生活,、智慧醫(yī)療、智慧交通等業(yè)務(wù)提供高效的產(chǎn)品化支撐,，致力推動千行百業(yè)的智慧化升級,。

作為云知大腦（UniBrain）的重要組成部分，云知聲數(shù)字人技術(shù)只需一次3分鐘真人素材錄入,，即可生成一個聲音,、動作自然，口型精準,，多語種精通的數(shù)字人分身,，可適用于教育、電商,、新聞,、自媒體等多種場景。此次奪得1亞1季的優(yōu)異成績,，充分印證了云知聲在數(shù)字人領(lǐng)域的技術(shù)創(chuàng)新實力,，也將激勵云知聲進一步夯實AGI技術(shù)底座，為構(gòu)建互聯(lián)直覺的世界持續(xù)貢獻力量,。

人工智能技術(shù)的快速發(fā)展和廣泛應(yīng)用,，正不斷打破各個行業(yè)的發(fā)展瓶頸，重塑不同產(chǎn)業(yè)的生產(chǎn)和運營模式,。展望未來,，云知聲將繼續(xù)堅定走在技術(shù)研發(fā)的前沿，持續(xù)推進通用人工智能（AGI）領(lǐng)域的研究與突破,，為各行各業(yè)帶來新的增長范式與無限可能,。