如何來判斷元宇宙的體驗好不好呢？其核心取決于在虛擬世界中，是否能夠重現(xiàn)物理世界的沉浸式感覺。當(dāng)下在元宇宙,，視覺、聽覺方面的體驗讓用戶感覺良好，但觸覺方面的體驗卻一直處于“缺失”的狀態(tài),。

目前雖然在元宇宙市場上，包括 ,、等在內(nèi)的科技公司通過使用震動馬達(dá)讓用戶能夠獲得觸感,，但需要注意的是，這里的觸感是一種被動觸感,。

視頻丨“高保真主動機(jī)械觸感交互系統(tǒng)”介紹（來源：）

以折紙技藝為靈感,，西湖大學(xué)教授團(tuán)隊提出了“主動觸感”的概念，并創(chuàng)新性地將剛度的概念引入元宇宙,。 并且基于此,，研發(fā)了一套高保真主動機(jī)械觸感交互系統(tǒng)。

具體來說,，主動觸感就是用戶在元宇宙的虛擬環(huán)境中,，通過主動觸發(fā)的方式（例如抓握），來真實地感受到物體的軟硬程度,，并可體驗到物體被捏碎的感覺,。

審稿人對該研究評價稱，作者們巧妙地利用了通過實時改變曲線折紙的幾何參數(shù),，在變形和屈曲過程中實現(xiàn)正剛度和負(fù)剛度,。

他們使用微型電機(jī)來改變折紙的幾何參數(shù)，以實現(xiàn)可調(diào)的剛度,，從而模擬不同的環(huán)境,，例如混凝土、草地和冰面等,，給用戶一種由用戶主動觸發(fā),、高度真實的感覺。這篇論文所使用的方法非常創(chuàng)新,，可能對開發(fā)新的觸覺技術(shù)產(chǎn)生很大的影響,。

圖丨相關(guān)論文（來源：Nature Machine Intelligence）

近日，相關(guān)論文以《沉浸式虛擬現(xiàn)實中高保真感知的主動機(jī)械觸覺交互》（）為題發(fā)表在 Nature Machine Intelligence[1],。

西湖大學(xué)博士后張壯,、浙江大學(xué)研究生徐正昊為該論文的共同第一作者，西湖大學(xué)機(jī)械工程講席教授為論文的通訊作者,，其他共同作者包括西湖大學(xué)科研助理,、博士生陳森濤,、博士后衛(wèi)平東等。

為元宇宙增加觸覺維度的新體驗

2019 年，香港城市大學(xué)副教授等人在 Nature 發(fā)表論文,，第一次將體感帶入到元宇宙的研究,。

他們研發(fā)了一種無線的電子觸覺反饋系統(tǒng)，在皮膚上實現(xiàn)了觸覺感知的虛擬現(xiàn)實技術(shù)（Virtual Reality,，VR）[2],。 通過這種柔性電子，將震動傳感器集成在硅膠中,。用戶利用這種皮膚 VR 貼在后背或胸前,，將遠(yuǎn)端的感覺通過震動的方式傳遞到用戶身上。

2020 年,，彼時教授在美國亞利桑那州立大學(xué)任教,，他的研究方向之一是折紙機(jī)械超材料，他與團(tuán)隊發(fā)表了一篇關(guān)于曲線折紙方面的論文[3],。

曲線折紙依賴于曲線折痕的曲率,，曲率不同則其體現(xiàn)的剛度也不同。在這個研究中,，研究人員發(fā)現(xiàn)在曲線折紙中,，改變曲線的曲率可實現(xiàn)正剛度、零剛度和負(fù)剛度的調(diào)節(jié),。

而這次的新研究恰好以此為靈感,，通過曲線折紙來實現(xiàn)由用戶觸發(fā)的主動機(jī)械觸感，并在元宇宙中首次引入了“主動觸感”的概念,。

圖丨“手球”裝置實物圖（來源：西湖大學(xué)）

表示：“我們制作了一個手球裝置,，通過該裝置可實時地將虛擬環(huán)境中物體的剛度呈現(xiàn)在真實物理世界中可觸摸的按鍵上面,。 通過我們這種簡單的機(jī)械設(shè)計，用戶能體驗出物體的軟度,、硬度以及捏碎物體的感覺,。 ”

圖丨生活場景中的主動剛度感知及對沉浸式虛擬現(xiàn)實的重建（來源：Nature Machine Intelligence）

如何利用折紙來調(diào)整剛度，是該研究中最大的技術(shù)挑戰(zhàn),。在 2020 年的研究中,，通過調(diào)節(jié)曲率實現(xiàn)了剛度調(diào)節(jié),。但在新研究中，如何進(jìn)行剛度調(diào)節(jié)卻讓團(tuán)隊成員“犯難”了,。

“調(diào)節(jié)曲率在實際應(yīng)用中并不好操作,，再加上手球的空間有限，因此很難實現(xiàn)實時調(diào)節(jié)曲線折紙的剛度,。 所以,，我們轉(zhuǎn)變思路，利用兩個板旋轉(zhuǎn)的方式實現(xiàn)角度的變化,?！?說。

圖丨高保真主動機(jī)械觸感交互系統(tǒng)的局部結(jié)構(gòu)（來源：西湖大學(xué)）

另一方面，客觀地表征手球裝置的觸感重現(xiàn),，也給該團(tuán)隊帶來了不小的難題,。研究人員原本計劃在腦電波方面進(jìn)行突破，但因腦電波過于復(fù)雜,，研究團(tuán)隊用了三個月仍無實質(zhì)進(jìn)展,，于是又及時調(diào)整了研究方向。

實際上,，在手球裝置的初次搭建也并不順利,。當(dāng)時由于疫情原因，一些配件（如蝸輪等）無法及時到達(dá)實驗室,，經(jīng)歷了很長時間的等待,，各種配件經(jīng)歷了從上海到廣州再到杭州的運輸過程。

回憶起拿到第一個版本的手球裝置,，表示,，之前只是從理論上認(rèn)為該技術(shù)可行但并未實踐，直到所裝配出的第一個手球真的實現(xiàn)了“所握即所得”,。

他說：“我覺得使用裝置的瞬間特別驚艷,，尤其是通過我們的技術(shù)真實地感受到那種捏碎一個球的感覺，當(dāng)時特別興奮,，這種體驗在此前的研究中是從來沒有被做到的,。”

隨后,，研究團(tuán)隊通過對用戶的交互體驗進(jìn)行大量的問卷調(diào)查以及生理電信號采集,，對該技術(shù)有了客觀的評價標(biāo)準(zhǔn)。至此,，驗證了該技術(shù)在觸感上的真實性復(fù)現(xiàn),。

核心成本約幾十元,，將繼續(xù)探索多模態(tài)感知

這個新技術(shù)的造價會不會很貴呢,？表示，該技術(shù)的核心組件價格并不高,。在虛擬環(huán)境中測量變形所需要的應(yīng)變依賴于銀納米線,，這種材料的成本很低，馬達(dá)的成本則在幾十塊錢左右,。因此,，總體來說這種裝置的核心價格在幾十元范圍內(nèi)。

據(jù)了解,，該技術(shù)可能最先實現(xiàn)的落地場景是娛樂方向,。目前，與團(tuán)隊已經(jīng)將該技術(shù)與市場上現(xiàn)有的商用手柄順利結(jié)合,。

結(jié)合完成后的新手柄與現(xiàn)有市場上的手柄相比,，多了一個功能——剛度反饋。使用者可通過新手柄,，感受到屏幕中物體的硬度,、軟度以及捏碎物品的感覺。

指出,，如果想在工業(yè)上實現(xiàn)該技術(shù)的應(yīng)用,，就涉及到觸覺的遠(yuǎn)程感知和操控。在了解遠(yuǎn)端的觸感后,，在近端進(jìn)行觸覺重現(xiàn),。他舉例說道：“例如對消防員進(jìn)行模擬滅火訓(xùn)練，可模擬場景實現(xiàn)物品的軟度,、硬度甚至溫度的近端體驗重現(xiàn),。”

圖丨基于曲線折紙的閉環(huán)觸覺（來源：Nature Machine Intelligence）

觸感的維度包括剛度（物體的軟硬程度）、物體紋理,、溫度,、濕度等。這些細(xì)分方向的觸覺體驗,，也是團(tuán)隊未來探索的方向,。

目前，該技術(shù)已申請國際專利。對于成果的轉(zhuǎn)化,，持開放性態(tài)度,，他表示,，如果有機(jī)構(gòu)或公司對成果感興趣,，也可以與課題組共同推進(jìn)相關(guān)成果的產(chǎn)業(yè)化進(jìn)程。

人體感官由視覺,、聽覺,、觸覺、嗅覺,、味覺構(gòu)成,。目前，在元宇宙的視聽觸覺方面已有相關(guān)進(jìn)展,，那么未來在嗅覺和味覺方面是否有可能產(chǎn)生聯(lián)動呢,？實際上，嗅覺和味覺都屬于近距離的感覺,。表示,，人體五感在技術(shù)上可實現(xiàn)聯(lián)動或集成。因此,，團(tuán)隊下一步也將向多模態(tài)感知體驗方向繼續(xù)探索,。

他說：“我們未來做的研究會把主動感覺和被動感覺集成在一起，例如將身體被‘?dāng)Q一下’的感覺體現(xiàn)出來,。目前,，做多模式感知方向研究的國內(nèi)外課題組并不多，期待未來可以有更多的可能性,?！?/p>

曾因無法實驗而遺憾,，終在西湖大學(xué)“圓夢”

教授本科和博士分別畢業(yè)于大連理工大學(xué)和清華大學(xué)。博士畢業(yè)后,，他赴美國伊利諾伊大學(xué)從事博士后研究,，并在美國亞利桑那州立大學(xué)任教 15 年。于 2011 年獲得終身職位（associate professor with tenure）,，于 2016 年晉升為正教授,。

實驗，在的科研生涯中像是某種“門檻”,。有意思的是,，在美國任教之前，并沒有做過實驗,。因此,，當(dāng)涉及到和實驗有關(guān)的工作時,，就必須尋找相關(guān)課題組來合作。他當(dāng)時選擇亞利桑那州立大學(xué),，很大一部分原因是因為該?？商峁﹩咏?jīng)費來發(fā)展實驗。

但是,，隨著的研究中的實驗越來越多,，沒有自己的實驗室使研究工作的發(fā)展受到越來越多的限制。在一次與同行的交流中,，他了解到西湖大學(xué)并與學(xué)校進(jìn)行聯(lián)系,。2021 年 6 月，回國全職加入西湖大學(xué)工學(xué)院,，任機(jī)械工程講席教授,。

“現(xiàn)在國內(nèi)的科研環(huán)境發(fā)展得很不錯，尤其是西湖大學(xué)的實驗條件真的太好了,，這個 offer 是我無法拒絕的,。很多在美國不能完成的實驗，終于在西湖大學(xué)圓夢了,?！?由衷地感慨道。

圖丨姜漢卿課題組成員合影（來源：）

目前，的跨力學(xué)實驗室（Beyond mechanics with societal impact）的研究方向以機(jī)械工程,、材料科學(xué)與工程,、電子科學(xué)與技術(shù)、跨力學(xué)實驗為主,。其實驗室成員已發(fā)展超過 30人,，“跨力學(xué)”體現(xiàn)在其多學(xué)科交叉的科研背景，包括力學(xué),、機(jī)械,、電子、材料,、計算機(jī),、電化學(xué)、化工等,。很多時候,，需要跨學(xué)科的合作在課題組內(nèi)部就解決了。

“我一直和學(xué)生們強調(diào)，論文是研究成果的階段性呈現(xiàn),，我們并不是要去做 to be believed 的應(yīng)用,，而是真正追求有社會影響力的研究，也就是通過學(xué)界與工業(yè)應(yīng)用緊密結(jié)合并落地,?！彼f。

在看來,，做科研應(yīng)該是興趣驅(qū)動的,、有趣的事情,，而不是被動地作為任務(wù)去完成某些課題,。雖然做科研工作可能經(jīng)常和失敗作伴，但如果真正地?zé)釔劭蒲?，即便失敗了也會從中總結(jié)經(jīng)驗,。

他分享道：“我非常自豪的一點是，我們課題組的研究氣氛特別好,，學(xué)生們都自發(fā),、全身心地去做他們感興趣的課題。通過討論和深挖,，能把工程問題變成科學(xué)問題,，最后再回到工程上去，這是最能激發(fā)人的創(chuàng)造性和工作熱情的,?！?/p>

參考資料：

1.Zhang, Z., Xu, Z., Emu, L. et al. Active mechanical haptics with high-fidelity perceptions for immersive virtual reality. Nature Machine Intelligence 5, 643–655 (2023). https://doi.org/10.1038/s42256-023-00671-z

2.Yu, X., Xie, Z., Yu, Y. et al. Skin-integrated wireless haptic interfaces for virtual and augmented reality. Nature 575, 473–479 (2019). https://doi.org/10.1038/s41586-019-1687-0

3.Z. Zhai, Y. Wang, K. Lin, L. Wu, H. Jiang, In Situ Stiffness Manipulation Using Elegant Curved Origami, Science Advances 6, 47（2020）. https://www.science.org/doi/10.1126/sciadv.abe2000

運營/排版：何晨龍

由 DeepTech 攜手《麻省理工科技評論》重磅推出的《科技之巔：全球突破性技術(shù)創(chuàng)新與未來趨勢（20 周年珍藏版）》已開售,！點擊下方海報可購買圖書！,！