清華AI技術走出實驗室，走進元宇宙,。

文｜許璧端

ChatGPT帶來了2023年第一個大爆的風口,。無論是強大的寫詩、撰文,、編碼等內容生成能力,，抑或是語義推理、情緒分析,、識別非法與偏見等對話能力,，都讓大眾眼前一亮，也給ChatGPT所代表的AIGC技術應用帶來無限想象空間,。

時隔幾個月，更新迭代的ChatGPT4.0面世,，在原有的文本層面交互上,，新增了接受圖像輸入和輸出圖像、音樂,、視頻回答的功能,，開啟了人機交互新時代。這背后涉及的“多模態(tài)技術”是人工智能行業(yè)近年來的研究熱點,。

多模態(tài)指的是多種模態(tài)的信息，包括文本,、圖像,、視頻、音頻等,，多模態(tài)技術就是將這些不同形式的數(shù)據(jù)融合在一起進行分析和處理的技術,。以前的媒體信息處理模型往往只針對某種單一形式的媒體數(shù)據(jù)進行推理分析，但人類的感知是多模態(tài)的,，“就像與人面對面進行交談時,，我們既聽到他的聲音、觀測他的表情,，同時也看他的手勢,。那么通過這樣的多模態(tài)識別，就可以傳遞更多的信息,?！?/p>

在清華大學電子系教授王生進看來，要想實現(xiàn)真正的人工智能,，讓人機交互還原人與人般自然的互動,，就需要機器具備視覺、聽覺和觸覺等強大的感知能力,，可以說多模態(tài)交互是未來AI技術的一大發(fā)展趨勢,。

專攻多模態(tài)交互技術，讓人機交互跨越感官

王生進1985年畢業(yè)于清華大學無線電電子學系,，1997年在東京工業(yè)大學獲博士學位,，2003年回國至今在清華大學電子工程系任教，現(xiàn)任清華大學媒體智能與自主系統(tǒng)研究中心主任,、北京信息科學與技術國家研究中心跨媒體智能創(chuàng)新團隊負責人,，先后參與了十多項國家縱向項目和數(shù)十項企業(yè)橫向項目的研究和開發(fā)工作，多次獲得國家及省部級和學會獎,，2020-2022連續(xù)3年入選“愛思唯爾中國高被引學者”,。

王生進教授（圖源：「紫為云」）

王生進所帶領的清華AI實驗室團隊主要研究方向定位為人工智能,、計算機視覺和機器學習,，具體包括媒體大數(shù)據(jù)認知計算,、跨媒體智能和多模態(tài)協(xié)作機器人三大方面。而多模態(tài)融合就是跨媒體智能研究中的一項重要技術,。

在跨媒體智能方面,，清華AI實驗室主要研究面向新一代人工智能的跨媒體數(shù)據(jù)認知計算，對文字,、圖像,、語音等多種媒體進行統(tǒng)一的協(xié)同感知和計算，最終實現(xiàn)獲得媒體所承載信息的識別和分析更加準確的結果,。

細看當下較為普及的人工智能產(chǎn)品,，其感知能力較為單一，即使具備多種感知能力也無法互通,。例如智能音箱只能實現(xiàn)語音層面的交互,，人臉支付在圖像層面進行信息采集與識別，掃地機器人則通過機器視覺感知到環(huán)境信息,。“對于智能機器來說,，提高視覺、聽覺,、觸覺等多種生物感官復合能力與信息復用能力,，是增強智能化水平的一個重要研究方向，跨媒體智能便是其中的一項重要技術,?！?/strong>早在2017年國務院發(fā)布的新一代人工智能發(fā)展規(guī)劃中，“跨媒體協(xié)同處理”就已經(jīng)是人工智能五大發(fā)展重點之一,。

成立之時,，王生進就提出打造一個連接虛實世界的沉浸式AI引擎?！耙軌蚋兄饺说男袨橐鈭D,、語言動作等等，然后還要讓人能與虛擬世界里的物品,、場景進行互動,，就需要一個沉浸式的AI引擎?！?strong>基于王生進及清華AI實驗室團隊近30年的技術沉淀,，「紫為云」很快打造出連接虛實世界的“新一代人機交互智能技術引擎”。

新一代的人機交互智能要求強大的多模態(tài)信息感知能力,，隨著要處理的模態(tài)增多,，對算力的要求也在提高，在算力有限的情況下,，算力優(yōu)化成為多模態(tài)交互技術的關鍵之一,。此外，新一代人機交互智能技術體系的一大特點在于利用大數(shù)據(jù)和算法去驅動虛擬場景的生成,，“虛擬空間里所有的驅動都是靠數(shù)據(jù)”,。

“新一代人機交互智能技術引擎”相當于一個多技術集成站，將多模態(tài),、算力優(yōu)化、虛擬引擎,、數(shù)據(jù)智能,、人機交互等技術賦能給機器,，機器成為有感官、能思考的智能體,，讓人和虛擬世界的交互體驗更自然,、真實、溫暖,。

同時,，清華AI實驗室團隊持續(xù)攻關前瞻性核心技術，例如三維姿態(tài)的識別技術,、通用的人工智能內容生成技術,，以及小樣本的處理技術等等。王生進介紹,，成立至今,，「紫為云」經(jīng)過兩次技術迭代：從多模態(tài)算法向交互智能算法發(fā)展，這屬于算法側的結構升級,；此外,，清華AI實驗室團隊還實現(xiàn)了識別技術從二維向三維的躍遷，尤其是基于單目的二維手勢識別和三維交互手勢識別,。

將相關技術融入到產(chǎn)品后,，「紫為云」目前已推出AR元宇宙交互智能終端、AR元宇宙互動屏和互動平板等硬件產(chǎn)品,，以及AR交互平臺與AI應用系統(tǒng),、元宇宙虛擬云應用系統(tǒng)平臺等軟件產(chǎn)品。

一項前沿科技走出實驗室,，能否為用戶和企業(yè)帶來真正效益,，還需要市場的驗證。目前,，「紫為云」產(chǎn)品已廣泛應用于數(shù)字鄉(xiāng)村,、數(shù)字教育、數(shù)字醫(yī)療,、數(shù)字文旅等場景中,，為客戶提供基于AR真實世界的元宇宙技術型解決方案。

以數(shù)字體育場景為例,，「紫為云」和豪群煉盟（林書豪-李群籃球學校）正在合作開發(fā)“AR原地空手投籃動作糾偏”專用程序,，解決籃球學員在校外練習投籃動作的標準化難題。學員在家訓練時,，通過手機攝像頭采集其身體姿勢圖像,，投屏到家用電視機作為體育教學的輔助工具。學員能看到全身各關節(jié)的夾角是否在高命中率的標準范圍內、動作是否變形偏差,；教練則可基于采集的數(shù)據(jù)分析來給學員更科學的指導,，糾正不規(guī)范動作，提高了在家訓練的效率和質量,。

在去年6月,，「紫為云」更是和國際屏顯巨頭「京東方」合作，聯(lián)合開發(fā)“AR元宇宙互動屏”,，將「紫為云」輕量化算法模型和虛實交互內容移植到成熟的智能硬件系統(tǒng)上,。在廣州市黃埔區(qū)，借助這塊AR元宇宙互動屏,，農業(yè)農村局為逕下村打造了一個AR元宇宙互動宣傳窗口,，互動屏可以捕捉真人的手勢和身體動作，映射到屏幕中,，村民可以在互動屏上體驗擬真的3D虛擬體育內容,，與3D麒麟共舞，或者咨詢虛擬醫(yī)生線上問診,。

廣州市黃埔區(qū)逕下村AR元宇宙互動宣傳窗口（圖源：「紫為云」）

使能萬千企業(yè)，放大人工智能的想象空間

人所處的現(xiàn)實世界是有限的,，我們難以親臨每一個想去的真實場景,，但無論是出于科研還是娛樂需求，我們又希望能接觸這些遙遠的現(xiàn)實世界,，因此人們希望構建一個隨時能在眼前展開的虛擬世界,，體驗遙不可及或是新奇的場景。這也是為什么人類甘愿投入巨大成本創(chuàng)造一個可以產(chǎn)生互動的虛擬世界,。

在王生進看來,，未來一段時間內虛實交互技術的研究熱點仍會是利用多模態(tài)技術提高機器感知和認知人類意圖的準確度，同時構建一個更加真實的虛擬空間,，連接真實世界進行即時,、多感官互動。而要實現(xiàn)極致沉浸體驗的虛實交互,，除了感知識別技術,，實時通信、高仿真顯示,、人機交互等相關技術也必不可少,。

基于這一人機交互發(fā)展方向，王生進介紹,，未來「紫為云」將持續(xù)聚焦開發(fā)基于自然交互的新一代人機交互智能技術,，不僅僅關注AIGC的通用內容生成,，還研究支撐通用內容生成的底層算法和算力；同時重點開發(fā)數(shù)據(jù)智能技術和平臺技術,，“因為基于元宇宙場景的數(shù)據(jù)要素是非常重要的,，我們是把研究重點放在數(shù)據(jù)智能上，希望構建類腦的智能系統(tǒng),，讓智能躍遷為智慧?！?/p>

AlGC高清圖片內容生成技術（圖源：「紫為云」）

人機交互是元宇宙的重要入口。新一代人機交互智能技術體系將算法算力,、渲染引擎,、數(shù)據(jù)通訊等技術深度融合后，試圖打造一個開放的元宇宙使能平臺,，將清華大學多年來積累的科研成果進行開放共享,，使能合作伙伴打造低成本、低算力,、低延時的高性價比元宇宙產(chǎn)品,，加速各行業(yè)人工智能的研究，放大元宇宙的想象空間,。

實際上,，在人工智能產(chǎn)業(yè)鏈上的眾多企業(yè)當中，真正具有從研發(fā)到應用的技術鏈條的并不多,，甚至說只有大廠有能力去構建自己的技術團隊,，研發(fā)算法等核心技術。人工智能中小企業(yè)迫切需要這些智能化技術,，但是他們很難去構建一個自己的團隊,。王生進分析，這背后的主要原因在于人工智能領域人才的短缺,，“一方面是人數(shù)不多,，另一方面人力成本還是很高的”?！缸蠟樵啤瓜Ｍ転橹行∑髽I(yè)提供AI底層技術的使能,。

在「紫為云」董事長顧友良看來，“「紫為云」做的虛擬場景應用,，它不是獨立于現(xiàn)實世界的,，而是回歸便捷、輕量化技術,，讓元宇宙飛入尋常百姓家”,。懷著使能、開放、合作共贏的理念,，「紫為云」通過新一代人機交互智能技術引擎,，牽引“元宇宙GPT新基建”高速列車,，使能萬千企業(yè)，探索場景落地,，讓元宇宙不再只是金字塔少數(shù)人才能享受的“黑科技”,。