中國經(jīng)濟(jì)周刊-經(jīng)濟(jì)網(wǎng)訊 （記者 孫冰） 應(yīng)輝,，一名AI動(dòng)捕研究師,，也可以介紹為一個(gè)可以“讓二次元小姐姐跳舞更美的三次元小哥哥”,。

作為“元宇宙打工人”,，應(yīng)輝的工作其實(shí)就是通過AI技術(shù)把你在現(xiàn)實(shí)世界中的動(dòng)作捕捉提取出來,，然后在虛擬世界中進(jìn)行還原,，這樣就可以讓在虛擬世界中的你也能動(dòng)起來,。

為了做好這份工作，應(yīng)輝和幾位同事雖然都是理工技術(shù)男,，但大家都關(guān)注了很多B站舞蹈區(qū)UP主,，還會(huì)看很多二次元視頻。而且由于測(cè)試需要,，他們還常常需要親自表演一些舞蹈動(dòng)作,，以更好地“調(diào)教”動(dòng)捕軟件。

應(yīng)輝在工作中

“那畫面,，只能說是相當(dāng)‘辣眼睛’?！睉?yīng)輝半開玩笑地說,。當(dāng)記者提出“無圖無真相”的要求時(shí)，應(yīng)輝發(fā)來了同事的表演動(dòng)圖,。

男生同事“辣眼”演繹二次元小姐姐

男生同事“辣眼”演繹二次元小姐姐

從傳統(tǒng)動(dòng)捕到AI動(dòng)捕,，從“奢侈品”到人人可及

應(yīng)輝本科和碩士都就讀于東南大學(xué)微電子專業(yè)，他是在暑期實(shí)習(xí)中第一次接觸到了AI動(dòng)捕這個(gè)領(lǐng)域,。

“雖然當(dāng)時(shí)做的只是做了一個(gè)非常簡(jiǎn)陋的Demo,，通過手機(jī)拍攝來重現(xiàn)人體三維模型,，然后生成一個(gè)自己的專屬虛擬形象。但我感覺這個(gè)應(yīng)用未來會(huì)有很多落地場(chǎng)景,，會(huì)非常有發(fā)展前景,。”應(yīng)輝告訴《中國經(jīng)濟(jì)周刊》記者,。于是,，應(yīng)輝在畢業(yè)后就選擇加入網(wǎng)易互娛AI Lab，成為了一名AI動(dòng)捕研究師,。

動(dòng)捕,，即動(dòng)作捕捉，其實(shí)并不是一個(gè)新領(lǐng)域,，早在二十年多前開啟的《指環(huán)王》三部曲中,，咕嚕（Gollum）就是由演員安迪·瑟金斯提供的動(dòng)作捕捉和配音，驚艷了全球觀眾,，很多粉絲都認(rèn)為奧斯卡欠他一座“小金人”,。而在《阿凡達(dá)》中，詹姆斯·卡梅隆導(dǎo)演更是讓動(dòng)作捕捉與表情捕捉技術(shù)在影視領(lǐng)域的應(yīng)用再創(chuàng)新高度,。

之后,，在影視、游戲等多個(gè)產(chǎn)業(yè)中,，動(dòng)捕的應(yīng)用越來越廣泛,。但毫無疑問，傳統(tǒng)動(dòng)捕是一種“奢侈品”,。

動(dòng)捕成果生成過程

據(jù)應(yīng)輝介紹，傳統(tǒng)動(dòng)捕流程一般采用的是光學(xué)或慣性動(dòng)捕,，需要專業(yè)動(dòng)捕演員穿戴專業(yè)動(dòng)捕服裝或在身上添加標(biāo)記點(diǎn),，在專業(yè)動(dòng)捕攝影棚中，通過一圈的專業(yè)紅外相機(jī)來捕獲動(dòng)作數(shù)據(jù),。而且一個(gè)動(dòng)作或許要重復(fù)多次,、反復(fù)捕捉才能達(dá)到好的提取效果。因此,，傳統(tǒng)動(dòng)捕的制作周期漫長(zhǎng),，成本也極高。

“雖然目前國內(nèi)外都有較為成熟的傳統(tǒng)動(dòng)捕解決方案,，但一套動(dòng)捕設(shè)備的硬件成本就要幾十萬到幾百萬元,，制作的內(nèi)容的成本通常要以每分鐘萬元級(jí)別來計(jì)算。”應(yīng)輝說,。

正如AI正在改變和賦能千行百業(yè)一樣,，人工智能技術(shù)也給動(dòng)捕行業(yè)帶來巨大改變,，極大地實(shí)現(xiàn)了降本增效。應(yīng)輝透露,，現(xiàn)在的AI動(dòng)捕不依賴專業(yè)設(shè)備和特定采集環(huán)境,，只要一臺(tái)手機(jī)就能完成，這就讓AI動(dòng)捕變得越來越人人可及,。

“比如我們研發(fā)的AIxPose視頻動(dòng)捕工具就是一種更輕量級(jí),、高效率、低成本的動(dòng)捕方式,。普通人只需要用普通手機(jī)攝像頭拍攝視頻,，這個(gè)軟件就可在短短幾分鐘內(nèi)自動(dòng)提取人體的動(dòng)作數(shù)據(jù)，再應(yīng)用于游戲,、動(dòng)畫,、廣告、教學(xué)等各類長(zhǎng)短視頻的制作流程中,。相比美術(shù)人員‘手K’（指美術(shù)人員一幀一幀手繪動(dòng)畫,，一分鐘動(dòng)畫視頻大概需要1000多幀），這種方式能節(jié)省80%左右的制作時(shí)間和成本,?！睉?yīng)輝說。

應(yīng)輝還表示,，現(xiàn)在國外也有很多科技公司在做這方面的研究和探索,?！皯?yīng)該說,，我們至少與世界先進(jìn)水平是同步的,。”他說,。

但應(yīng)輝認(rèn)為,，AI動(dòng)捕和傳統(tǒng)動(dòng)捕并不是替代關(guān)系，AI動(dòng)捕的應(yīng)用場(chǎng)景和傳統(tǒng)動(dòng)捕其實(shí)有很大差別,，更多是為用戶提供一個(gè)新的選擇,。

以對(duì)動(dòng)捕需求很大的短視頻創(chuàng)作領(lǐng)域?yàn)槔岸桃曨l需求以短平快為主,，因?yàn)闊狳c(diǎn)來得快走得也快,，如果用傳統(tǒng)動(dòng)捕方式來制作，拋開成本不談,，等一個(gè)月后做出來,，熱點(diǎn)早就涼了?！睉?yīng)輝說,。

除了降本增效，AI動(dòng)捕由于是直接從視頻中提取動(dòng)作,，而不是通過動(dòng)捕演員的表演來呈現(xiàn),，所以素材可以更加廣泛和易得。

“比如前一陣子《狂飆》很火,，很多短視頻都在模仿高啟強(qiáng)那種很拽的走路步伐,，這個(gè)動(dòng)捕演員就很難模仿出張頌文老師的表演精髓。但AI動(dòng)捕就可以直接使用原視頻,，讓虛擬人物直接‘復(fù)刻’張老師的經(jīng)典動(dòng)作,。”應(yīng)輝說,。

一部手機(jī),，就能讓你在元宇宙里動(dòng)起來

隨著元宇宙、虛擬人,、數(shù)字人,、AR/AR的興起，UGC創(chuàng)作對(duì)動(dòng)捕需求正變得越來越大,，應(yīng)用場(chǎng)景也越來越豐富,。“元宇宙的核心就是為現(xiàn)實(shí)世界建立一個(gè)在虛擬世界中的映像,，而動(dòng)捕技術(shù)可以讓元宇宙中的你動(dòng)起來,，而且是盡可能以百分百還原的方式動(dòng)起來。”應(yīng)輝說,。

一部手機(jī)就能實(shí)現(xiàn)動(dòng)捕

但是，AI動(dòng)捕技術(shù)的實(shí)現(xiàn)并不容易,。應(yīng)輝透露,，自己的同學(xué)大部分是在半導(dǎo)體、計(jì)算機(jī),、互聯(lián)網(wǎng)等行業(yè)里工作,，自己的工作因?yàn)殡x用戶更近，所以會(huì)更有趣一些,。但這意味著,，他除了要專注技術(shù)，還需要掌握很多其他領(lǐng)域的知識(shí)力和理解力,。

“我們一開始沒有想到動(dòng)捕對(duì)動(dòng)作細(xì)節(jié)會(huì)有那么多,、那么高的要求。我們覺得動(dòng)作提取得已經(jīng)很好了,，因?yàn)檎б豢创_實(shí)是差不多的,，但專業(yè)人士一看，就會(huì)發(fā)現(xiàn)區(qū)別很大,。比如,，美術(shù)的同事會(huì)指出，虛擬形象在跳舞的時(shí)候腳步有滑動(dòng),，或者跑步時(shí)候身體重心不對(duì),，不像一個(gè)正常人，而是像一個(gè)機(jī)器人,，這些就都需要我們反復(fù)進(jìn)行技術(shù)上的調(diào)整和優(yōu)化,。”應(yīng)輝說,。

為了能更好地領(lǐng)悟到舞蹈表現(xiàn)力的精髓,，應(yīng)輝會(huì)大量觀看舞蹈視頻和惡補(bǔ)二次元，還會(huì)親身體驗(yàn),?！澳憧吹降亩卧〗憬闾枰曨l，很有可能動(dòng)作是提取自一個(gè)三次元小哥哥,?！彼f。

但是,，當(dāng)應(yīng)輝和同事們幫助客戶把從一段過去二十多天才能完成的營銷動(dòng)畫視頻縮短到三天就完成了,，他們還是充滿了成就感的,。“過去要制作一段跳舞動(dòng)畫,，可以能需要美術(shù)人員一幀幀地手繪出來,，但現(xiàn)在可以先做動(dòng)捕，然后美術(shù)人員只需要在動(dòng)捕視頻的基礎(chǔ)上進(jìn)行修改就可以,，這大大提高了美術(shù)的生產(chǎn)力,。”應(yīng)輝說,，更讓他們感受到工作意義和價(jià)值的是，他們把動(dòng)捕體驗(yàn)帶給了越來越多的普通人,，讓每個(gè)人只要通過一部手機(jī),，就有機(jī)會(huì)創(chuàng)作出自己的元宇宙作品。

一審：鄭揚(yáng)波 二審：王新景 三審：周琦