如何來(lái)判斷元宇宙的體驗(yàn)好不好呢,？其核心取決于在虛擬世界中,，是否能夠重現(xiàn)物理世界的沉浸式感覺(jué)。當(dāng)下在元宇宙,，視覺(jué),、聽(tīng)覺(jué)方面的體驗(yàn)讓用戶感覺(jué)良好，但觸覺(jué)方面的體驗(yàn)卻一直處于“缺失”的狀態(tài)。

目前雖然在元宇宙市場(chǎng)上,，包括 ,、等在內(nèi)的科技公司通過(guò)使用震動(dòng)馬達(dá)讓用戶能夠獲得觸感，但需要注意的是,，這里的觸感是一種被動(dòng)觸感,。

視頻丨“高保真主動(dòng)機(jī)械觸感交互系統(tǒng)”介紹（來(lái)源：）

以折紙技藝為靈感，西湖大學(xué)教授團(tuán)隊(duì)提出了“主動(dòng)觸感”的概念,，并創(chuàng)新性地將剛度的概念引入元宇宙,。 并且基于此，研發(fā)了一套高保真主動(dòng)機(jī)械觸感交互系統(tǒng),。

具體來(lái)說(shuō),，主動(dòng)觸感就是用戶在元宇宙的虛擬環(huán)境中，通過(guò)主動(dòng)觸發(fā)的方式（例如抓握）,，來(lái)真實(shí)地感受到物體的軟硬程度,，并可體驗(yàn)到物體被捏碎的感覺(jué)。

審稿人對(duì)該研究評(píng)價(jià)稱,，作者們巧妙地利用了通過(guò)實(shí)時(shí)改變曲線折紙的幾何參數(shù),，在變形和屈曲過(guò)程中實(shí)現(xiàn)正剛度和負(fù)剛度。

他們使用微型電機(jī)來(lái)改變折紙的幾何參數(shù),，以實(shí)現(xiàn)可調(diào)的剛度,，從而模擬不同的環(huán)境，例如混凝土,、草地和冰面等,，給用戶一種由用戶主動(dòng)觸發(fā)、高度真實(shí)的感覺(jué),。這篇論文所使用的方法非常創(chuàng)新,，可能對(duì)開(kāi)發(fā)新的觸覺(jué)技術(shù)產(chǎn)生很大的影響。

圖丨相關(guān)論文（來(lái)源：Nature Machine Intelligence）

近日,，相關(guān)論文以《沉浸式虛擬現(xiàn)實(shí)中高保真感知的主動(dòng)機(jī)械觸覺(jué)交互》（）為題發(fā)表在 Nature Machine Intelligence[1],。

西湖大學(xué)博士后張壯、浙江大學(xué)研究生徐正昊為該論文的共同第一作者,，西湖大學(xué)機(jī)械工程講席教授為論文的通訊作者,，其他共同作者包括西湖大學(xué)科研助理、博士生陳森濤,、博士后衛(wèi)平東等,。

為元宇宙增加觸覺(jué)維度的新體驗(yàn)

2019 年,，香港城市大學(xué)副教授等人在 Nature 發(fā)表論文,，第一次將體感帶入到元宇宙的研究。

他們研發(fā)了一種無(wú)線的電子觸覺(jué)反饋系統(tǒng),，在皮膚上實(shí)現(xiàn)了觸覺(jué)感知的虛擬現(xiàn)實(shí)技術(shù)（Virtual Reality,，VR）[2]。 通過(guò)這種柔性電子,，將震動(dòng)傳感器集成在硅膠中。用戶利用這種皮膚 VR 貼在后背或胸前,，將遠(yuǎn)端的感覺(jué)通過(guò)震動(dòng)的方式傳遞到用戶身上,。

2020 年，彼時(shí)教授在美國(guó)亞利桑那州立大學(xué)任教,，他的研究方向之一是折紙機(jī)械超材料,，他與團(tuán)隊(duì)發(fā)表了一篇關(guān)于曲線折紙方面的論文[3]。

曲線折紙依賴于曲線折痕的曲率,，曲率不同則其體現(xiàn)的剛度也不同,。在這個(gè)研究中，研究人員發(fā)現(xiàn)在曲線折紙中,，改變曲線的曲率可實(shí)現(xiàn)正剛度,、零剛度和負(fù)剛度的調(diào)節(jié)。

而這次的新研究恰好以此為靈感,，通過(guò)曲線折紙來(lái)實(shí)現(xiàn)由用戶觸發(fā)的主動(dòng)機(jī)械觸感,，并在元宇宙中首次引入了“主動(dòng)觸感”的概念。

圖丨“手球”裝置實(shí)物圖（來(lái)源：西湖大學(xué)）

表示：“我們制作了一個(gè)手球裝置，通過(guò)該裝置可實(shí)時(shí)地將虛擬環(huán)境中物體的剛度呈現(xiàn)在真實(shí)物理世界中可觸摸的按鍵上面,。 通過(guò)我們這種簡(jiǎn)單的機(jī)械設(shè)計(jì),，用戶能體驗(yàn)出物體的軟度、硬度以及捏碎物體的感覺(jué),。 ”

圖丨生活場(chǎng)景中的主動(dòng)剛度感知及對(duì)沉浸式虛擬現(xiàn)實(shí)的重建（來(lái)源：Nature Machine Intelligence）

如何利用折紙來(lái)調(diào)整剛度,，是該研究中最大的技術(shù)挑戰(zhàn),。在 2020 年的研究中，通過(guò)調(diào)節(jié)曲率實(shí)現(xiàn)了剛度調(diào)節(jié),。但在新研究中,，如何進(jìn)行剛度調(diào)節(jié)卻讓團(tuán)隊(duì)成員“犯難”了。

“調(diào)節(jié)曲率在實(shí)際應(yīng)用中并不好操作,，再加上手球的空間有限,，因此很難實(shí)現(xiàn)實(shí)時(shí)調(diào)節(jié)曲線折紙的剛度,。 所以，我們轉(zhuǎn)變思路,，利用兩個(gè)板旋轉(zhuǎn)的方式實(shí)現(xiàn)角度的變化,。” 說(shuō),。

圖丨高保真主動(dòng)機(jī)械觸感交互系統(tǒng)的局部結(jié)構(gòu)（來(lái)源：西湖大學(xué)）

另一方面,，客觀地表征手球裝置的觸感重現(xiàn),，也給該團(tuán)隊(duì)帶來(lái)了不小的難題。研究人員原本計(jì)劃在腦電波方面進(jìn)行突破,，但因腦電波過(guò)于復(fù)雜,，研究團(tuán)隊(duì)用了三個(gè)月仍無(wú)實(shí)質(zhì)進(jìn)展，于是又及時(shí)調(diào)整了研究方向,。

實(shí)際上,，在手球裝置的初次搭建也并不順利。當(dāng)時(shí)由于疫情原因,，一些配件（如蝸輪等）無(wú)法及時(shí)到達(dá)實(shí)驗(yàn)室,，經(jīng)歷了很長(zhǎng)時(shí)間的等待，各種配件經(jīng)歷了從上海到廣州再到杭州的運(yùn)輸過(guò)程,。

回憶起拿到第一個(gè)版本的手球裝置,，表示，之前只是從理論上認(rèn)為該技術(shù)可行但并未實(shí)踐,，直到所裝配出的第一個(gè)手球真的實(shí)現(xiàn)了“所握即所得”,。

他說(shuō)：“我覺(jué)得使用裝置的瞬間特別驚艷，尤其是通過(guò)我們的技術(shù)真實(shí)地感受到那種捏碎一個(gè)球的感覺(jué),，當(dāng)時(shí)特別興奮,，這種體驗(yàn)在此前的研究中是從來(lái)沒(méi)有被做到的?！?/p>

隨后,，研究團(tuán)隊(duì)通過(guò)對(duì)用戶的交互體驗(yàn)進(jìn)行大量的問(wèn)卷調(diào)查以及生理電信號(hào)采集，對(duì)該技術(shù)有了客觀的評(píng)價(jià)標(biāo)準(zhǔn),。至此,，驗(yàn)證了該技術(shù)在觸感上的真實(shí)性復(fù)現(xiàn)。

核心成本約幾十元，將繼續(xù)探索多模態(tài)感知

這個(gè)新技術(shù)的造價(jià)會(huì)不會(huì)很貴呢,？表示,，該技術(shù)的核心組件價(jià)格并不高,。在虛擬環(huán)境中測(cè)量變形所需要的應(yīng)變依賴于銀納米線，這種材料的成本很低,，馬達(dá)的成本則在幾十塊錢左右,。因此，總體來(lái)說(shuō)這種裝置的核心價(jià)格在幾十元范圍內(nèi),。

據(jù)了解,，該技術(shù)可能最先實(shí)現(xiàn)的落地場(chǎng)景是娛樂(lè)方向。目前,，與團(tuán)隊(duì)已經(jīng)將該技術(shù)與市場(chǎng)上現(xiàn)有的商用手柄順利結(jié)合,。

結(jié)合完成后的新手柄與現(xiàn)有市場(chǎng)上的手柄相比，多了一個(gè)功能——?jiǎng)偠确答?。使用者可通過(guò)新手柄，感受到屏幕中物體的硬度,、軟度以及捏碎物品的感覺(jué),。

指出，如果想在工業(yè)上實(shí)現(xiàn)該技術(shù)的應(yīng)用,，就涉及到觸覺(jué)的遠(yuǎn)程感知和操控,。在了解遠(yuǎn)端的觸感后，在近端進(jìn)行觸覺(jué)重現(xiàn),。他舉例說(shuō)道：“例如對(duì)消防員進(jìn)行模擬滅火訓(xùn)練,，可模擬場(chǎng)景實(shí)現(xiàn)物品的軟度、硬度甚至溫度的近端體驗(yàn)重現(xiàn),?！?/p>

圖丨基于曲線折紙的閉環(huán)觸覺(jué)（來(lái)源：Nature Machine Intelligence）

觸感的維度包括剛度（物體的軟硬程度）,、物體紋理、溫度,、濕度等,。這些細(xì)分方向的觸覺(jué)體驗(yàn)，也是團(tuán)隊(duì)未來(lái)探索的方向,。

目前,，該技術(shù)已申請(qǐng)國(guó)際專利。對(duì)于成果的轉(zhuǎn)化,，持開(kāi)放性態(tài)度,，他表示，如果有機(jī)構(gòu)或公司對(duì)成果感興趣,，也可以與課題組共同推進(jìn)相關(guān)成果的產(chǎn)業(yè)化進(jìn)程,。

人體感官由視覺(jué),、聽(tīng)覺(jué)、觸覺(jué),、嗅覺(jué),、味覺(jué)構(gòu)成。目前,，在元宇宙的視聽(tīng)觸覺(jué)方面已有相關(guān)進(jìn)展,，那么未來(lái)在嗅覺(jué)和味覺(jué)方面是否有可能產(chǎn)生聯(lián)動(dòng)呢？實(shí)際上,，嗅覺(jué)和味覺(jué)都屬于近距離的感覺(jué),。表示，人體五感在技術(shù)上可實(shí)現(xiàn)聯(lián)動(dòng)或集成,。因此,，團(tuán)隊(duì)下一步也將向多模態(tài)感知體驗(yàn)方向繼續(xù)探索。

他說(shuō)：“我們未來(lái)做的研究會(huì)把主動(dòng)感覺(jué)和被動(dòng)感覺(jué)集成在一起,，例如將身體被‘?dāng)Q一下’的感覺(jué)體現(xiàn)出來(lái),。目前，做多模式感知方向研究的國(guó)內(nèi)外課題組并不多,，期待未來(lái)可以有更多的可能性,。”

曾因無(wú)法實(shí)驗(yàn)而遺憾，終在西湖大學(xué)“圓夢(mèng)”

教授本科和博士分別畢業(yè)于大連理工大學(xué)和清華大學(xué),。博士畢業(yè)后,，他赴美國(guó)伊利諾伊大學(xué)從事博士后研究，并在美國(guó)亞利桑那州立大學(xué)任教 15 年,。于 2011 年獲得終身職位（associate professor with tenure）,，于 2016 年晉升為正教授。

實(shí)驗(yàn),，在的科研生涯中像是某種“門檻”,。有意思的是，在美國(guó)任教之前,，并沒(méi)有做過(guò)實(shí)驗(yàn),。因此，當(dāng)涉及到和實(shí)驗(yàn)有關(guān)的工作時(shí),，就必須尋找相關(guān)課題組來(lái)合作,。他當(dāng)時(shí)選擇亞利桑那州立大學(xué)，很大一部分原因是因?yàn)樵撔,？商峁﹩?dòng)經(jīng)費(fèi)來(lái)發(fā)展實(shí)驗(yàn),。

但是,，隨著的研究中的實(shí)驗(yàn)越來(lái)越多，沒(méi)有自己的實(shí)驗(yàn)室使研究工作的發(fā)展受到越來(lái)越多的限制,。在一次與同行的交流中,，他了解到西湖大學(xué)并與學(xué)校進(jìn)行聯(lián)系。2021 年 6 月,，回國(guó)全職加入西湖大學(xué)工學(xué)院,，任機(jī)械工程講席教授。

“現(xiàn)在國(guó)內(nèi)的科研環(huán)境發(fā)展得很不錯(cuò),，尤其是西湖大學(xué)的實(shí)驗(yàn)條件真的太好了,，這個(gè) offer 是我無(wú)法拒絕的。很多在美國(guó)不能完成的實(shí)驗(yàn),，終于在西湖大學(xué)圓夢(mèng)了,。” 由衷地感慨道,。

圖丨姜漢卿課題組成員合影（來(lái)源：）

目前,，的跨力學(xué)實(shí)驗(yàn)室（Beyond mechanics with societal impact）的研究方向以機(jī)械工程、材料科學(xué)與工程,、電子科學(xué)與技術(shù),、跨力學(xué)實(shí)驗(yàn)為主。其實(shí)驗(yàn)室成員已發(fā)展超過(guò) 30人,，“跨力學(xué)”體現(xiàn)在其多學(xué)科交叉的科研背景,，包括力學(xué)、機(jī)械,、電子,、材料、計(jì)算機(jī),、電化學(xué),、化工等。很多時(shí)候,，需要跨學(xué)科的合作在課題組內(nèi)部就解決了,。

“我一直和學(xué)生們強(qiáng)調(diào)，論文是研究成果的階段性呈現(xiàn),，我們并不是要去做 to be believed 的應(yīng)用,，而是真正追求有社會(huì)影響力的研究，也就是通過(guò)學(xué)界與工業(yè)應(yīng)用緊密結(jié)合并落地,?！彼f(shuō),。

在看來(lái)，做科研應(yīng)該是興趣驅(qū)動(dòng)的,、有趣的事情,，而不是被動(dòng)地作為任務(wù)去完成某些課題。雖然做科研工作可能經(jīng)常和失敗作伴,，但如果真正地?zé)釔?ài)科研,，即便失敗了也會(huì)從中總結(jié)經(jīng)驗(yàn)。

他分享道：“我非常自豪的一點(diǎn)是,，我們課題組的研究氣氛特別好,，學(xué)生們都自發(fā)、全身心地去做他們感興趣的課題,。通過(guò)討論和深挖,，能把工程問(wèn)題變成科學(xué)問(wèn)題，最后再回到工程上去,，這是最能激發(fā)人的創(chuàng)造性和工作熱情的,。”

參考資料：

1.Zhang, Z., Xu, Z., Emu, L. et al. Active mechanical haptics with high-fidelity perceptions for immersive virtual reality. Nature Machine Intelligence 5, 643–655 (2023). https://doi.org/10.1038/s42256-023-00671-z

2.Yu, X., Xie, Z., Yu, Y. et al. Skin-integrated wireless haptic interfaces for virtual and augmented reality. Nature 575, 473–479 (2019). https://doi.org/10.1038/s41586-019-1687-0

3.Z. Zhai, Y. Wang, K. Lin, L. Wu, H. Jiang, In Situ Stiffness Manipulation Using Elegant Curved Origami, Science Advances 6, 47（2020）. https://www.science.org/doi/10.1126/sciadv.abe2000

運(yùn)營(yíng)/排版：何晨龍

由 DeepTech 攜手《麻省理工科技評(píng)論》重磅推出的《科技之巔：全球突破性技術(shù)創(chuàng)新與未來(lái)趨勢(shì)（20 周年珍藏版）》已開(kāi)售！點(diǎn)擊下方海報(bào)可購(gòu)買圖書??！