原文來(lái)源：AIGC開(kāi)放社區(qū)

圖片來(lái)源：由無(wú)界 AI生成

悉尼科技大學(xué)的科研人員,，通過(guò)大語(yǔ)言模型、EEG（大腦活動(dòng)檢測(cè)工具）,、腦機(jī)接口等技術(shù),，開(kāi)發(fā)了一個(gè)可自動(dòng)讀取人類想法，并轉(zhuǎn)化成文本的AI大模型——DeWave,。

DeWave的使用方法非常簡(jiǎn)單,，用戶只需要戴上EEG，然后開(kāi)啟你的思維活動(dòng),，DeWave就能將你的想法直接翻譯成文本,，就像現(xiàn)實(shí)版的《讀心人》非?！翱植馈薄?/p>

相比馬斯克的Neuralink腦機(jī)接口芯片,，DeWave使用更加簡(jiǎn)單方便,，無(wú)需做昂貴的手術(shù)植入芯片，通過(guò)海量數(shù)據(jù)訓(xùn)練的大模型就能將腦電波翻譯成文本,。

DeWave可幫助那些無(wú)法說(shuō)話的腦血栓,、中風(fēng)、聾啞人等,，可與正常人進(jìn)行交流,，目前翻譯的準(zhǔn)確率在40%左右。其實(shí)這個(gè)產(chǎn)品用于談戀愛(ài)場(chǎng)景也不錯(cuò),，雙方都帶上這個(gè),，再也不怕對(duì)方撒謊了。

值得一提的是,，該研究已經(jīng)被全球頂級(jí)機(jī)器學(xué)習(xí)大會(huì)“NeurIPS”,，評(píng)選為重要論文。

論文地址：https://arxiv.org/abs/2309.14030v3?

其實(shí)這項(xiàng)技術(shù)與去年10月19日,，Meta發(fā)布的通過(guò)MEG（另外一種大腦活動(dòng)檢測(cè)工具）重構(gòu)人類大腦成像過(guò)程有點(diǎn)類似,。都是通過(guò)EEG、MEG等工具捕獲大腦微弱活動(dòng)電流,，檢測(cè)這些磁場(chǎng)變化,，然后獲得腦部活動(dòng)數(shù)據(jù)。

獲得原始大腦數(shù)據(jù)后,研究人員就可以用大語(yǔ)言模型等對(duì)其進(jìn)行解碼,提取重要的視覺(jué)、文本信息,。所以,，獲取大腦活動(dòng)數(shù)據(jù)是翻譯、重構(gòu)人類想法,、思維畫(huà)面的關(guān)鍵基礎(chǔ),。

Meta的論文地址：https://ai.meta.com/static-resource/image-decoding

DeWave簡(jiǎn)單介紹

DeWave的核心技術(shù)思路是，將連續(xù)的腦電波信號(hào)轉(zhuǎn)化為離散的編碼,然后輸入預(yù)訓(xùn)練的大語(yǔ)言模型進(jìn)行文本翻譯,。

首先,，通過(guò)向量量化變分編碼器的結(jié)構(gòu),將接收到的腦電波信號(hào)，轉(zhuǎn)換成一系列向量化的特征表示,。

然后,這些特征表示會(huì)被進(jìn)一步轉(zhuǎn)化為一系列離散的代碼,每個(gè)代碼都對(duì)應(yīng)碼本里的一個(gè)離散詞向量,。碼本就像一個(gè)字典,里面有限個(gè)數(shù)的離散詞向量,。特征表示通過(guò)在碼本中找到最匹配的那個(gè)離散詞向量,來(lái)獲得對(duì)應(yīng)的離散代碼,。

在得到一系列離散代碼之后,就可以像處理語(yǔ)言詞向量一樣,輸入到預(yù)訓(xùn)練的大語(yǔ)言模型,最終生成翻譯的文本內(nèi)容。

DeWave訓(xùn)練流程

DeWave的訓(xùn)練流程主要分為三個(gè)階段：1）自監(jiān)督編碼器預(yù)訓(xùn)練(僅原始EEG腦磁波),，這一階段會(huì)先訓(xùn)練一個(gè)腦電波自編碼模型,輸入原始EEG波形,通過(guò)重建實(shí)現(xiàn)自監(jiān)督,。這樣可以提取有用的時(shí)域和頻域特征。

2）編碼器和碼本訓(xùn)練，固定好波形編碼器后,訓(xùn)練Transformer編碼器與離散碼本,獲得穩(wěn)定可分離的腦電波表示,。

3）端到端微調(diào),，解凍大語(yǔ)言模型允許端到端訓(xùn)練。在編碼器引導(dǎo)下微調(diào)BART模型,實(shí)現(xiàn)EEG到文本的生成,。需要注意的是，對(duì)詞級(jí)特征輸入并不需要第一階段的預(yù)訓(xùn)練,可以直接從第二階段開(kāi)始,。

DeWave局限性

研究人員表示,，DeWave模型在將腦電波轉(zhuǎn)化為文本的任務(wù)中取得了一定的成果，但也存在一些局限性,。

依賴于預(yù)訓(xùn)練大語(yǔ)言模型：DeWave在實(shí)現(xiàn)腦電波到文本的轉(zhuǎn)換過(guò)程中使用了預(yù)訓(xùn)練大語(yǔ)言模型,，如BART。

這意味著DeWave方法的性能受限于預(yù)訓(xùn)練語(yǔ)言模型的質(zhì)量和能力,。如果預(yù)訓(xùn)練語(yǔ)言模型不夠準(zhǔn)確或不具備廣泛的語(yǔ)言理解能力,，可能會(huì)影響到DeWave方法的翻譯性能。

對(duì)平行數(shù)據(jù)的依賴性：DeWave方法在訓(xùn)練過(guò)程中需要使用平行的腦電波和文本對(duì)數(shù)據(jù),，以進(jìn)行監(jiān)督學(xué)習(xí),。

然而,，獲取大規(guī)模的平行數(shù)據(jù)對(duì)于某些任務(wù)可能是困難的或成本較高的。因此,，如果缺乏足夠的平行數(shù)據(jù),，DeWave方法的性能可能會(huì)受到限制。

對(duì)標(biāo)記的依賴性：盡管DeWave方法在文中聲稱可以在沒(méi)有標(biāo)記（如眼動(dòng)追蹤）的情況下實(shí)現(xiàn)腦電波到文本的翻譯,，但它仍然依賴于基于標(biāo)記的對(duì)齊過(guò)程,。

DeWave使用了事件標(biāo)記來(lái)將腦電波分割成單詞級(jí)別的特征，這可能導(dǎo)致在沒(méi)有標(biāo)記的情況下無(wú)法準(zhǔn)確地對(duì)腦電波進(jìn)行分割和翻譯,。

悉尼科技大學(xué)首席研究員兼DeWave作者,， Chin-Teng Lin表示，DeWave是第一個(gè)將離散編碼集成在大腦到文本翻譯領(lǐng)域的產(chǎn)品,，引入了一種創(chuàng)新的神經(jīng)解碼方法,。同時(shí)與大語(yǔ)言模型的集成,，也開(kāi)辟了神經(jīng)科學(xué)和AI相結(jié)合的全新探索。

什么是EEG

EEG 是電腦圖(Electroencephalogram) 的縮寫(xiě),，它是一種記錄大腦電活動(dòng)的檢測(cè)方法,。EEG 主要是通過(guò)頭皮上的電極來(lái)捕捉大腦神經(jīng)細(xì)胞之間通信的微小電信號(hào)。

大腦活動(dòng)產(chǎn)生電流,，當(dāng)神經(jīng)細(xì)胞（神經(jīng)元）被激活時(shí),，它們會(huì)產(chǎn)生電信號(hào)。EEG 檢測(cè)的是大量神經(jīng)元同步活動(dòng)所產(chǎn)生的電位變化,。主要用于科學(xué)研究,、腦部檢測(cè)、腦部疾病治療等,。

什么是MEG

MEG,，全稱為腦磁圖（Magnetoencephalography），是一種神經(jīng)成像技術(shù),，用于測(cè)量大腦活動(dòng)中產(chǎn)生的極微弱的磁場(chǎng),。MEG能夠提供關(guān)于大腦功能的空間和時(shí)間信息。

MEG的工作原理是基于生物電活動(dòng)產(chǎn)生磁場(chǎng)的物理原理,。當(dāng)大腦中的神經(jīng)元活動(dòng)時(shí),，它們會(huì)產(chǎn)生微小的電流，這些電流會(huì)產(chǎn)生相應(yīng)的磁場(chǎng),。

MEG設(shè)備使用一種非常靈敏的傳感器,，稱為超導(dǎo)量子干涉設(shè)備（SQUIDs），來(lái)檢測(cè)這些微小的磁場(chǎng),。

MEG主要應(yīng)用：定位腦功能,、研究大腦通信、診斷和治療規(guī)劃,、研究神經(jīng)發(fā)育和疾病等,。