原文來源：AIGC開放社區(qū)

圖片來源：由無界 AI生成

悉尼科技大學(xué)的科研人員,，通過大語言模型、EEG（大腦活動檢測工具）,、腦機接口等技術(shù),，開發(fā)了一個可自動讀取人類想法，并轉(zhuǎn)化成文本的AI大模型——DeWave,。

DeWave的使用方法非常簡單,，用戶只需要戴上EEG，然后開啟你的思維活動，DeWave就能將你的想法直接翻譯成文本,，就像現(xiàn)實版的《讀心人》非?！翱植馈薄?/p>

相比馬斯克的Neuralink腦機接口芯片,，DeWave使用更加簡單方便,，無需做昂貴的手術(shù)植入芯片，通過海量數(shù)據(jù)訓(xùn)練的大模型就能將腦電波翻譯成文本,。

DeWave可幫助那些無法說話的腦血栓,、中風(fēng)、聾啞人等,，可與正常人進(jìn)行交流,，目前翻譯的準(zhǔn)確率在40%左右。其實這個產(chǎn)品用于談戀愛場景也不錯,，雙方都帶上這個，再也不怕對方撒謊了,。

值得一提的是,，該研究已經(jīng)被全球頂級機器學(xué)習(xí)大會“NeurIPS”，評選為重要論文,。

論文地址：https://arxiv.org/abs/2309.14030v3?

其實這項技術(shù)與去年10月19日,，Meta發(fā)布的通過MEG（另外一種大腦活動檢測工具）重構(gòu)人類大腦成像過程有點類似。都是通過EEG,、MEG等工具捕獲大腦微弱活動電流,，檢測這些磁場變化，然后獲得腦部活動數(shù)據(jù),。

獲得原始大腦數(shù)據(jù)后,研究人員就可以用大語言模型等對其進(jìn)行解碼,提取重要的視覺,、文本信息,。所以，獲取大腦活動數(shù)據(jù)是翻譯,、重構(gòu)人類想法,、思維畫面的關(guān)鍵基礎(chǔ)。

Meta的論文地址：https://ai.meta.com/static-resource/image-decoding

DeWave簡單介紹

DeWave的核心技術(shù)思路是,，將連續(xù)的腦電波信號轉(zhuǎn)化為離散的編碼,然后輸入預(yù)訓(xùn)練的大語言模型進(jìn)行文本翻譯,。

首先，通過向量量化變分編碼器的結(jié)構(gòu),將接收到的腦電波信號,，轉(zhuǎn)換成一系列向量化的特征表示,。

然后,這些特征表示會被進(jìn)一步轉(zhuǎn)化為一系列離散的代碼,每個代碼都對應(yīng)碼本里的一個離散詞向量,。碼本就像一個字典,里面有限個數(shù)的離散詞向量,。特征表示通過在碼本中找到最匹配的那個離散詞向量,來獲得對應(yīng)的離散代碼。

在得到一系列離散代碼之后,就可以像處理語言詞向量一樣,輸入到預(yù)訓(xùn)練的大語言模型,最終生成翻譯的文本內(nèi)容,。

DeWave訓(xùn)練流程

DeWave的訓(xùn)練流程主要分為三個階段：1）自監(jiān)督編碼器預(yù)訓(xùn)練(僅原始EEG腦磁波),，這一階段會先訓(xùn)練一個腦電波自編碼模型,輸入原始EEG波形,通過重建實現(xiàn)自監(jiān)督。這樣可以提取有用的時域和頻域特征,。

2）編碼器和碼本訓(xùn)練,，固定好波形編碼器后,訓(xùn)練Transformer編碼器與離散碼本,獲得穩(wěn)定可分離的腦電波表示,。

3）端到端微調(diào)，解凍大語言模型允許端到端訓(xùn)練,。在編碼器引導(dǎo)下微調(diào)BART模型,實現(xiàn)EEG到文本的生成,。需要注意的是，對詞級特征輸入并不需要第一階段的預(yù)訓(xùn)練,可以直接從第二階段開始,。

DeWave局限性

研究人員表示,，DeWave模型在將腦電波轉(zhuǎn)化為文本的任務(wù)中取得了一定的成果，但也存在一些局限性,。

依賴于預(yù)訓(xùn)練大語言模型：DeWave在實現(xiàn)腦電波到文本的轉(zhuǎn)換過程中使用了預(yù)訓(xùn)練大語言模型,，如BART。

這意味著DeWave方法的性能受限于預(yù)訓(xùn)練語言模型的質(zhì)量和能力,。如果預(yù)訓(xùn)練語言模型不夠準(zhǔn)確或不具備廣泛的語言理解能力,，可能會影響到DeWave方法的翻譯性能。

對平行數(shù)據(jù)的依賴性：DeWave方法在訓(xùn)練過程中需要使用平行的腦電波和文本對數(shù)據(jù),，以進(jìn)行監(jiān)督學(xué)習(xí),。

然而,，獲取大規(guī)模的平行數(shù)據(jù)對于某些任務(wù)可能是困難的或成本較高的。因此,，如果缺乏足夠的平行數(shù)據(jù),，DeWave方法的性能可能會受到限制。

對標(biāo)記的依賴性：盡管DeWave方法在文中聲稱可以在沒有標(biāo)記（如眼動追蹤）的情況下實現(xiàn)腦電波到文本的翻譯,，但它仍然依賴于基于標(biāo)記的對齊過程,。

DeWave使用了事件標(biāo)記來將腦電波分割成單詞級別的特征，這可能導(dǎo)致在沒有標(biāo)記的情況下無法準(zhǔn)確地對腦電波進(jìn)行分割和翻譯,。

悉尼科技大學(xué)首席研究員兼DeWave作者,， Chin-Teng Lin表示,，DeWave是第一個將離散編碼集成在大腦到文本翻譯領(lǐng)域的產(chǎn)品，引入了一種創(chuàng)新的神經(jīng)解碼方法,。同時與大語言模型的集成,，也開辟了神經(jīng)科學(xué)和AI相結(jié)合的全新探索。

什么是EEG

EEG 是電腦圖(Electroencephalogram) 的縮寫,，它是一種記錄大腦電活動的檢測方法,。EEG 主要是通過頭皮上的電極來捕捉大腦神經(jīng)細(xì)胞之間通信的微小電信號。

大腦活動產(chǎn)生電流,，當(dāng)神經(jīng)細(xì)胞（神經(jīng)元）被激活時,，它們會產(chǎn)生電信號。EEG 檢測的是大量神經(jīng)元同步活動所產(chǎn)生的電位變化,。主要用于科學(xué)研究,、腦部檢測、腦部疾病治療等,。

什么是MEG

MEG,，全稱為腦磁圖（Magnetoencephalography），是一種神經(jīng)成像技術(shù),，用于測量大腦活動中產(chǎn)生的極微弱的磁場,。MEG能夠提供關(guān)于大腦功能的空間和時間信息。

MEG的工作原理是基于生物電活動產(chǎn)生磁場的物理原理,。當(dāng)大腦中的神經(jīng)元活動時，它們會產(chǎn)生微小的電流,，這些電流會產(chǎn)生相應(yīng)的磁場,。

MEG設(shè)備使用一種非常靈敏的傳感器，稱為超導(dǎo)量子干涉設(shè)備（SQUIDs）,，來檢測這些微小的磁場,。

MEG主要應(yīng)用：定位腦功能、研究大腦通信,、診斷和治療規(guī)劃,、研究神經(jīng)發(fā)育和疾病等。