如何來判斷元宇宙的體驗(yàn)好不好呢？其核心取決于在虛擬世界中,，是否能夠重現(xiàn)物理世界的沉浸式感覺,。當(dāng)下在元宇宙，視覺,、聽覺方面的體驗(yàn)讓用戶感覺良好，但觸覺方面的體驗(yàn)卻一直處于“缺失”的狀態(tài),。

目前雖然在元宇宙市場上,，包括 、等在內(nèi)的科技公司通過使用震動(dòng)馬達(dá)讓用戶能夠獲得觸感,，但需要注意的是,，這里的觸感是一種被動(dòng)觸感。

視頻丨“高保真主動(dòng)機(jī)械觸感交互系統(tǒng)”介紹（來源：）

以折紙技藝為靈感,，西湖大學(xué)教授團(tuán)隊(duì)提出了“主動(dòng)觸感”的概念,，并創(chuàng)新性地將剛度的概念引入元宇宙。 并且基于此,，研發(fā)了一套高保真主動(dòng)機(jī)械觸感交互系統(tǒng),。

具體來說,，主動(dòng)觸感就是用戶在元宇宙的虛擬環(huán)境中，通過主動(dòng)觸發(fā)的方式（例如抓握）,，來真實(shí)地感受到物體的軟硬程度,，并可體驗(yàn)到物體被捏碎的感覺。

審稿人對該研究評價(jià)稱,，作者們巧妙地利用了通過實(shí)時(shí)改變曲線折紙的幾何參數(shù),，在變形和屈曲過程中實(shí)現(xiàn)正剛度和負(fù)剛度。

他們使用微型電機(jī)來改變折紙的幾何參數(shù),，以實(shí)現(xiàn)可調(diào)的剛度,，從而模擬不同的環(huán)境，例如混凝土,、草地和冰面等,，給用戶一種由用戶主動(dòng)觸發(fā)、高度真實(shí)的感覺,。這篇論文所使用的方法非常創(chuàng)新,，可能對開發(fā)新的觸覺技術(shù)產(chǎn)生很大的影響。

圖丨相關(guān)論文（來源：Nature Machine Intelligence）

近日,，相關(guān)論文以《沉浸式虛擬現(xiàn)實(shí)中高保真感知的主動(dòng)機(jī)械觸覺交互》（）為題發(fā)表在 Nature Machine Intelligence[1],。

西湖大學(xué)博士后張壯、浙江大學(xué)研究生徐正昊為該論文的共同第一作者,，西湖大學(xué)機(jī)械工程講席教授為論文的通訊作者,，其他共同作者包括西湖大學(xué)科研助理、博士生陳森濤,、博士后衛(wèi)平東等,。

為元宇宙增加觸覺維度的新體驗(yàn)

2019 年,，香港城市大學(xué)副教授等人在 Nature 發(fā)表論文，第一次將體感帶入到元宇宙的研究,。

他們研發(fā)了一種無線的電子觸覺反饋系統(tǒng),，在皮膚上實(shí)現(xiàn)了觸覺感知的虛擬現(xiàn)實(shí)技術(shù)（Virtual Reality，VR）[2],。 通過這種柔性電子,，將震動(dòng)傳感器集成在硅膠中。用戶利用這種皮膚 VR 貼在后背或胸前,，將遠(yuǎn)端的感覺通過震動(dòng)的方式傳遞到用戶身上,。

2020 年，彼時(shí)教授在美國亞利桑那州立大學(xué)任教,，他的研究方向之一是折紙機(jī)械超材料,，他與團(tuán)隊(duì)發(fā)表了一篇關(guān)于曲線折紙方面的論文[3],。

曲線折紙依賴于曲線折痕的曲率，曲率不同則其體現(xiàn)的剛度也不同,。在這個(gè)研究中,，研究人員發(fā)現(xiàn)在曲線折紙中，改變曲線的曲率可實(shí)現(xiàn)正剛度,、零剛度和負(fù)剛度的調(diào)節(jié),。

而這次的新研究恰好以此為靈感，通過曲線折紙來實(shí)現(xiàn)由用戶觸發(fā)的主動(dòng)機(jī)械觸感,，并在元宇宙中首次引入了“主動(dòng)觸感”的概念,。

圖丨“手球”裝置實(shí)物圖（來源：西湖大學(xué)）

表示：“我們制作了一個(gè)手球裝置,，通過該裝置可實(shí)時(shí)地將虛擬環(huán)境中物體的剛度呈現(xiàn)在真實(shí)物理世界中可觸摸的按鍵上面。 通過我們這種簡單的機(jī)械設(shè)計(jì),，用戶能體驗(yàn)出物體的軟度,、硬度以及捏碎物體的感覺。 ”

圖丨生活場景中的主動(dòng)剛度感知及對沉浸式虛擬現(xiàn)實(shí)的重建（來源：Nature Machine Intelligence）

如何利用折紙來調(diào)整剛度，是該研究中最大的技術(shù)挑戰(zhàn),。在 2020 年的研究中,，通過調(diào)節(jié)曲率實(shí)現(xiàn)了剛度調(diào)節(jié)。但在新研究中,，如何進(jìn)行剛度調(diào)節(jié)卻讓團(tuán)隊(duì)成員“犯難”了,。

“調(diào)節(jié)曲率在實(shí)際應(yīng)用中并不好操作，再加上手球的空間有限,，因此很難實(shí)現(xiàn)實(shí)時(shí)調(diào)節(jié)曲線折紙的剛度,。 所以，我們轉(zhuǎn)變思路,，利用兩個(gè)板旋轉(zhuǎn)的方式實(shí)現(xiàn)角度的變化,。” 說,。

圖丨高保真主動(dòng)機(jī)械觸感交互系統(tǒng)的局部結(jié)構(gòu)（來源：西湖大學(xué)）

另一方面,，客觀地表征手球裝置的觸感重現(xiàn)，也給該團(tuán)隊(duì)帶來了不小的難題,。研究人員原本計(jì)劃在腦電波方面進(jìn)行突破,，但因腦電波過于復(fù)雜,，研究團(tuán)隊(duì)用了三個(gè)月仍無實(shí)質(zhì)進(jìn)展，于是又及時(shí)調(diào)整了研究方向,。

實(shí)際上,，在手球裝置的初次搭建也并不順利。當(dāng)時(shí)由于疫情原因,，一些配件（如蝸輪等）無法及時(shí)到達(dá)實(shí)驗(yàn)室,，經(jīng)歷了很長時(shí)間的等待，各種配件經(jīng)歷了從上海到廣州再到杭州的運(yùn)輸過程,。

回憶起拿到第一個(gè)版本的手球裝置,，表示，之前只是從理論上認(rèn)為該技術(shù)可行但并未實(shí)踐,，直到所裝配出的第一個(gè)手球真的實(shí)現(xiàn)了“所握即所得”,。

他說：“我覺得使用裝置的瞬間特別驚艷，尤其是通過我們的技術(shù)真實(shí)地感受到那種捏碎一個(gè)球的感覺,，當(dāng)時(shí)特別興奮,，這種體驗(yàn)在此前的研究中是從來沒有被做到的?！?/p>

隨后,，研究團(tuán)隊(duì)通過對用戶的交互體驗(yàn)進(jìn)行大量的問卷調(diào)查以及生理電信號采集，對該技術(shù)有了客觀的評價(jià)標(biāo)準(zhǔn),。至此,，驗(yàn)證了該技術(shù)在觸感上的真實(shí)性復(fù)現(xiàn)。

核心成本約幾十元，將繼續(xù)探索多模態(tài)感知

這個(gè)新技術(shù)的造價(jià)會不會很貴呢,？表示,，該技術(shù)的核心組件價(jià)格并不高。在虛擬環(huán)境中測量變形所需要的應(yīng)變依賴于銀納米線,，這種材料的成本很低,，馬達(dá)的成本則在幾十塊錢左右。因此,，總體來說這種裝置的核心價(jià)格在幾十元范圍內(nèi),。

據(jù)了解，該技術(shù)可能最先實(shí)現(xiàn)的落地場景是娛樂方向,。目前,，與團(tuán)隊(duì)已經(jīng)將該技術(shù)與市場上現(xiàn)有的商用手柄順利結(jié)合。

結(jié)合完成后的新手柄與現(xiàn)有市場上的手柄相比，多了一個(gè)功能——?jiǎng)偠确答?。使用者可通過新手柄,，感受到屏幕中物體的硬度、軟度以及捏碎物品的感覺,。

指出,，如果想在工業(yè)上實(shí)現(xiàn)該技術(shù)的應(yīng)用，就涉及到觸覺的遠(yuǎn)程感知和操控,。在了解遠(yuǎn)端的觸感后,，在近端進(jìn)行觸覺重現(xiàn)。他舉例說道：“例如對消防員進(jìn)行模擬滅火訓(xùn)練,，可模擬場景實(shí)現(xiàn)物品的軟度,、硬度甚至溫度的近端體驗(yàn)重現(xiàn)?！?/p>

圖丨基于曲線折紙的閉環(huán)觸覺（來源：Nature Machine Intelligence）

觸感的維度包括剛度（物體的軟硬程度）,、物體紋理,、溫度、濕度等,。這些細(xì)分方向的觸覺體驗(yàn),，也是團(tuán)隊(duì)未來探索的方向。

目前,，該技術(shù)已申請國際專利,。對于成果的轉(zhuǎn)化，持開放性態(tài)度,，他表示,，如果有機(jī)構(gòu)或公司對成果感興趣，也可以與課題組共同推進(jìn)相關(guān)成果的產(chǎn)業(yè)化進(jìn)程,。

人體感官由視覺,、聽覺、觸覺,、嗅覺,、味覺構(gòu)成。目前,，在元宇宙的視聽觸覺方面已有相關(guān)進(jìn)展,，那么未來在嗅覺和味覺方面是否有可能產(chǎn)生聯(lián)動(dòng)呢？實(shí)際上,，嗅覺和味覺都屬于近距離的感覺,。表示，人體五感在技術(shù)上可實(shí)現(xiàn)聯(lián)動(dòng)或集成。因此，團(tuán)隊(duì)下一步也將向多模態(tài)感知體驗(yàn)方向繼續(xù)探索,。

他說：“我們未來做的研究會把主動(dòng)感覺和被動(dòng)感覺集成在一起,，例如將身體被‘?dāng)Q一下’的感覺體現(xiàn)出來。目前,，做多模式感知方向研究的國內(nèi)外課題組并不多,，期待未來可以有更多的可能性?！?/p>

曾因無法實(shí)驗(yàn)而遺憾,，終在西湖大學(xué)“圓夢”

教授本科和博士分別畢業(yè)于大連理工大學(xué)和清華大學(xué),。博士畢業(yè)后，他赴美國伊利諾伊大學(xué)從事博士后研究,，并在美國亞利桑那州立大學(xué)任教 15 年,。于 2011 年獲得終身職位（associate professor with tenure），于 2016 年晉升為正教授,。

實(shí)驗(yàn),，在的科研生涯中像是某種“門檻”。有意思的是,，在美國任教之前,，并沒有做過實(shí)驗(yàn)。因此,，當(dāng)涉及到和實(shí)驗(yàn)有關(guān)的工作時(shí),，就必須尋找相關(guān)課題組來合作。他當(dāng)時(shí)選擇亞利桑那州立大學(xué),，很大一部分原因是因?yàn)樵撔,？商峁﹩?dòng)經(jīng)費(fèi)來發(fā)展實(shí)驗(yàn)。

但是,，隨著的研究中的實(shí)驗(yàn)越來越多,，沒有自己的實(shí)驗(yàn)室使研究工作的發(fā)展受到越來越多的限制。在一次與同行的交流中,，他了解到西湖大學(xué)并與學(xué)校進(jìn)行聯(lián)系,。2021 年 6 月，回國全職加入西湖大學(xué)工學(xué)院,，任機(jī)械工程講席教授,。

“現(xiàn)在國內(nèi)的科研環(huán)境發(fā)展得很不錯(cuò)，尤其是西湖大學(xué)的實(shí)驗(yàn)條件真的太好了，這個(gè) offer 是我無法拒絕的,。很多在美國不能完成的實(shí)驗(yàn),，終于在西湖大學(xué)圓夢了?！?由衷地感慨道,。

圖丨姜漢卿課題組成員合影（來源：）

目前,，的跨力學(xué)實(shí)驗(yàn)室（Beyond mechanics with societal impact）的研究方向以機(jī)械工程、材料科學(xué)與工程,、電子科學(xué)與技術(shù),、跨力學(xué)實(shí)驗(yàn)為主。其實(shí)驗(yàn)室成員已發(fā)展超過 30人,，“跨力學(xué)”體現(xiàn)在其多學(xué)科交叉的科研背景,，包括力學(xué)、機(jī)械,、電子,、材料、計(jì)算機(jī),、電化學(xué),、化工等。很多時(shí)候,，需要跨學(xué)科的合作在課題組內(nèi)部就解決了,。

“我一直和學(xué)生們強(qiáng)調(diào)，論文是研究成果的階段性呈現(xiàn),，我們并不是要去做 to be believed 的應(yīng)用,，而是真正追求有社會影響力的研究，也就是通過學(xué)界與工業(yè)應(yīng)用緊密結(jié)合并落地,?！彼f。

在看來,，做科研應(yīng)該是興趣驅(qū)動(dòng)的,、有趣的事情，而不是被動(dòng)地作為任務(wù)去完成某些課題,。雖然做科研工作可能經(jīng)常和失敗作伴,，但如果真正地?zé)釔劭蒲校幢闶×艘矔闹锌偨Y(jié)經(jīng)驗(yàn),。

他分享道：“我非常自豪的一點(diǎn)是,，我們課題組的研究氣氛特別好,，學(xué)生們都自發(fā)、全身心地去做他們感興趣的課題,。通過討論和深挖,，能把工程問題變成科學(xué)問題，最后再回到工程上去,，這是最能激發(fā)人的創(chuàng)造性和工作熱情的,。”

參考資料：

1.Zhang, Z., Xu, Z., Emu, L. et al. Active mechanical haptics with high-fidelity perceptions for immersive virtual reality. Nature Machine Intelligence 5, 643–655 (2023). https://doi.org/10.1038/s42256-023-00671-z

2.Yu, X., Xie, Z., Yu, Y. et al. Skin-integrated wireless haptic interfaces for virtual and augmented reality. Nature 575, 473–479 (2019). https://doi.org/10.1038/s41586-019-1687-0

3.Z. Zhai, Y. Wang, K. Lin, L. Wu, H. Jiang, In Situ Stiffness Manipulation Using Elegant Curved Origami, Science Advances 6, 47（2020）. https://www.science.org/doi/10.1126/sciadv.abe2000

運(yùn)營/排版：何晨龍

由 DeepTech 攜手《麻省理工科技評論》重磅推出的《科技之巔：全球突破性技術(shù)創(chuàng)新與未來趨勢（20 周年珍藏版）》已開售,！點(diǎn)擊下方海報(bào)可購買圖書?。?/strong>