中國經(jīng)濟(jì)周刊-經(jīng)濟(jì)網(wǎng)訊 （記者 孫冰） 應(yīng)輝,，一名AI動捕研究師,，也可以介紹為一個可以“讓二次元小姐姐跳舞更美的三次元小哥哥”。

作為“元宇宙打工人”,，應(yīng)輝的工作其實(shí)就是通過AI技術(shù)把你在現(xiàn)實(shí)世界中的動作捕捉提取出來,，然后在虛擬世界中進(jìn)行還原，這樣就可以讓在虛擬世界中的你也能動起來,。

為了做好這份工作,，應(yīng)輝和幾位同事雖然都是理工技術(shù)男，但大家都關(guān)注了很多B站舞蹈區(qū)UP主,，還會看很多二次元視頻,。而且由于測試需要，他們還常常需要親自表演一些舞蹈動作,，以更好地“調(diào)教”動捕軟件,。

應(yīng)輝在工作中

“那畫面,，只能說是相當(dāng)‘辣眼睛’,。”應(yīng)輝半開玩笑地說,。當(dāng)記者提出“無圖無真相”的要求時,，應(yīng)輝發(fā)來了同事的表演動圖,。

男生同事“辣眼”演繹二次元小姐姐

男生同事“辣眼”演繹二次元小姐姐

從傳統(tǒng)動捕到AI動捕,，從“奢侈品”到人人可及

應(yīng)輝本科和碩士都就讀于東南大學(xué)微電子專業(yè)，他是在暑期實(shí)習(xí)中第一次接觸到了AI動捕這個領(lǐng)域,。

“雖然當(dāng)時做的只是做了一個非常簡陋的Demo,，通過手機(jī)拍攝來重現(xiàn)人體三維模型，然后生成一個自己的專屬虛擬形象,。但我感覺這個應(yīng)用未來會有很多落地場景,，會非常有發(fā)展前景?！睉?yīng)輝告訴《中國經(jīng)濟(jì)周刊》記者,。于是，應(yīng)輝在畢業(yè)后就選擇加入網(wǎng)易互娛AI Lab,，成為了一名AI動捕研究師,。

動捕，即動作捕捉,，其實(shí)并不是一個新領(lǐng)域,，早在二十年多前開啟的《指環(huán)王》三部曲中，咕嚕（Gollum）就是由演員安迪·瑟金斯提供的動作捕捉和配音,，驚艷了全球觀眾,，很多粉絲都認(rèn)為奧斯卡欠他一座“小金人”。而在《阿凡達(dá)》中,，詹姆斯·卡梅隆導(dǎo)演更是讓動作捕捉與表情捕捉技術(shù)在影視領(lǐng)域的應(yīng)用再創(chuàng)新高度,。

之后，在影視,、游戲等多個產(chǎn)業(yè)中,，動捕的應(yīng)用越來越廣泛。但毫無疑問,，傳統(tǒng)動捕是一種“奢侈品”,。

動捕成果生成過程

據(jù)應(yīng)輝介紹,，傳統(tǒng)動捕流程一般采用的是光學(xué)或慣性動捕,，需要專業(yè)動捕演員穿戴專業(yè)動捕服裝或在身上添加標(biāo)記點(diǎn)，在專業(yè)動捕攝影棚中,，通過一圈的專業(yè)紅外相機(jī)來捕獲動作數(shù)據(jù),。而且一個動作或許要重復(fù)多次、反復(fù)捕捉才能達(dá)到好的提取效果,。因此,，傳統(tǒng)動捕的制作周期漫長,，成本也極高。

“雖然目前國內(nèi)外都有較為成熟的傳統(tǒng)動捕解決方案,，但一套動捕設(shè)備的硬件成本就要幾十萬到幾百萬元,，制作的內(nèi)容的成本通常要以每分鐘萬元級別來計算?！睉?yīng)輝說。

正如AI正在改變和賦能千行百業(yè)一樣,，人工智能技術(shù)也給動捕行業(yè)帶來巨大改變,，極大地實(shí)現(xiàn)了降本增效,。應(yīng)輝透露，現(xiàn)在的AI動捕不依賴專業(yè)設(shè)備和特定采集環(huán)境,，只要一臺手機(jī)就能完成,，這就讓AI動捕變得越來越人人可及。

“比如我們研發(fā)的AIxPose視頻動捕工具就是一種更輕量級,、高效率,、低成本的動捕方式。普通人只需要用普通手機(jī)攝像頭拍攝視頻,，這個軟件就可在短短幾分鐘內(nèi)自動提取人體的動作數(shù)據(jù),，再應(yīng)用于游戲、動畫,、廣告,、教學(xué)等各類長短視頻的制作流程中。相比美術(shù)人員‘手K’（指美術(shù)人員一幀一幀手繪動畫,，一分鐘動畫視頻大概需要1000多幀）,，這種方式能節(jié)省80%左右的制作時間和成本,。”應(yīng)輝說,。

應(yīng)輝還表示,，現(xiàn)在國外也有很多科技公司在做這方面的研究和探索?！皯?yīng)該說,，我們至少與世界先進(jìn)水平是同步的?！彼f,。

但應(yīng)輝認(rèn)為，AI動捕和傳統(tǒng)動捕并不是替代關(guān)系,，AI動捕的應(yīng)用場景和傳統(tǒng)動捕其實(shí)有很大差別,，更多是為用戶提供一個新的選擇。

以對動捕需求很大的短視頻創(chuàng)作領(lǐng)域?yàn)槔?，“短視頻需求以短平快為主,，因?yàn)闊狳c(diǎn)來得快走得也快，如果用傳統(tǒng)動捕方式來制作,，拋開成本不談,，等一個月后做出來，熱點(diǎn)早就涼了,?！睉?yīng)輝說。

除了降本增效,，AI動捕由于是直接從視頻中提取動作,，而不是通過動捕演員的表演來呈現(xiàn)，所以素材可以更加廣泛和易得,。

“比如前一陣子《狂飆》很火,，很多短視頻都在模仿高啟強(qiáng)那種很拽的走路步伐，這個動捕演員就很難模仿出張頌文老師的表演精髓,。但AI動捕就可以直接使用原視頻,，讓虛擬人物直接‘復(fù)刻’張老師的經(jīng)典動作?！睉?yīng)輝說,。

一部手機(jī)，就能讓你在元宇宙里動起來

隨著元宇宙,、虛擬人,、數(shù)字人、AR/AR的興起,，UGC創(chuàng)作對動捕需求正變得越來越大,，應(yīng)用場景也越來越豐富,。“元宇宙的核心就是為現(xiàn)實(shí)世界建立一個在虛擬世界中的映像,，而動捕技術(shù)可以讓元宇宙中的你動起來,，而且是盡可能以百分百還原的方式動起來?！睉?yīng)輝說,。

一部手機(jī)就能實(shí)現(xiàn)動捕

但是,，AI動捕技術(shù)的實(shí)現(xiàn)并不容易,。應(yīng)輝透露，自己的同學(xué)大部分是在半導(dǎo)體,、計算機(jī)、互聯(lián)網(wǎng)等行業(yè)里工作,，自己的工作因?yàn)殡x用戶更近,，所以會更有趣一些。但這意味著,，他除了要專注技術(shù),，還需要掌握很多其他領(lǐng)域的知識力和理解力。

“我們一開始沒有想到動捕對動作細(xì)節(jié)會有那么多,、那么高的要求,。我們覺得動作提取得已經(jīng)很好了，因?yàn)檎б豢创_實(shí)是差不多的,，但專業(yè)人士一看,，就會發(fā)現(xiàn)區(qū)別很大。比如,，美術(shù)的同事會指出,，虛擬形象在跳舞的時候腳步有滑動，或者跑步時候身體重心不對,，不像一個正常人,，而是像一個機(jī)器人，這些就都需要我們反復(fù)進(jìn)行技術(shù)上的調(diào)整和優(yōu)化,?！睉?yīng)輝說。

為了能更好地領(lǐng)悟到舞蹈表現(xiàn)力的精髓,，應(yīng)輝會大量觀看舞蹈視頻和惡補(bǔ)二次元,，還會親身體驗(yàn)?！澳憧吹降亩卧〗憬闾枰曨l,，很有可能動作是提取自一個三次元小哥哥,。”他說,。

但是,，當(dāng)應(yīng)輝和同事們幫助客戶把從一段過去二十多天才能完成的營銷動畫視頻縮短到三天就完成了，他們還是充滿了成就感的,?！斑^去要制作一段跳舞動畫，可以能需要美術(shù)人員一幀幀地手繪出來,，但現(xiàn)在可以先做動捕,，然后美術(shù)人員只需要在動捕視頻的基礎(chǔ)上進(jìn)行修改就可以，這大大提高了美術(shù)的生產(chǎn)力,?！睉?yīng)輝說，更讓他們感受到工作意義和價值的是,，他們把動捕體驗(yàn)帶給了越來越多的普通人，讓每個人只要通過一部手機(jī),，就有機(jī)會創(chuàng)作出自己的元宇宙作品,。

一審：鄭揚(yáng)波 二審：王新景 三審：周琦