文/Rob Toews

如果說現(xiàn)代人工智能有一份創(chuàng)始文件或者一篇圣典，那一定就是谷歌2017年發(fā)布的研究論文《你需要的只是Attention》（Attention Is All You Need）,。

這篇論文介紹了一種被稱為“transformer”的新型深度學(xué)習(xí)架構(gòu),，并在過去五年里徹底改變了人工智能領(lǐng)域,。

Transformer是當(dāng)今占主導(dǎo)地位的人工智能架構(gòu),，它與2016年科幻電影《降臨》（Arrival）中的外星語言有著有趣的相似之處,。圖片來源：PARAMOUNT PICTURES

目前席卷全球的人工智能熱潮都可以直接追溯到transformer的發(fā)明。今天出現(xiàn)在頭條新聞中的每個(gè)主要AI模型和產(chǎn)品——ChatGPT,、GPT-4,、Midjourney、Stable Diffusion,、GitHub Copilot等等——都是使用transformer構(gòu)建的,。

Transformer具有顯著的通用性：雖然它們最初是專為語言翻譯而開發(fā)的，但它們現(xiàn)在也在推動(dòng)計(jì)算機(jī)視覺,、機(jī)器人學(xué),、計(jì)算生物學(xué)等領(lǐng)域的技術(shù)發(fā)展。

簡而言之,，transformer代表了當(dāng)今人工智能技術(shù)無可爭議的黃金標(biāo)準(zhǔn),。

但沒有一種技術(shù)能永遠(yuǎn)占據(jù)主導(dǎo)地位。

在transformer的影響力達(dá)到頂峰之際,，思考接下來會(huì)發(fā)生什么似乎有些奇怪,。但是，在瞬息萬變的人工智能世界里,，在未來變得顯而易見之前，設(shè)法“洞察先機(jī)”并一窺究竟,，既令人著迷,，又大有裨益。

本著這種精神,，讓我們斗膽一問：

什么會(huì)取代transformer,？

Transformer 101

為了探討這個(gè)問題,，我們必須首先更深入地了解transformer。

現(xiàn)已成為經(jīng)典的那篇關(guān)于transformer論文是由八位研究人員于2017年在谷歌共同完成的：他們是艾丹·戈麥斯（Aidan Gomez）,、利昂·瓊斯（Llion Jones）,、盧卡斯·凱澤（Lukasz Kaiser）、尼基·帕馬爾（Niki Parmar）,、伊利亞·波羅蘇欣（Illia Polosukhin）,、諾姆·沙澤爾（Noam Shazeer）、雅各布·烏斯科雷特（Jakob Uszkoreit）和阿希什·瓦斯瓦尼（Ashish Vaswani）,。

關(guān)于這篇論文,，一個(gè)經(jīng)常被忽視的事實(shí)是，所有8位作者都被列為共同撰稿人,，排名不分先后,，也就是說，他們的名字出現(xiàn)在論文上的順序是隨機(jī)決定的,，沒有任何意義,。話雖如此，人們普遍認(rèn)為烏斯科雷特為transformer這個(gè)概念提供了最初的智力引擎,，而瓦斯瓦尼和沙澤爾則是自始至終最深入?yún)⑴c這項(xiàng)工作各個(gè)方面的兩位作者,。

這8位作者都因?yàn)樗麄儗?duì)這篇論文的參與而成為了人工智能領(lǐng)域的杰出人物。如今,，他們都不在谷歌工作了,，但他們后來各自或共同創(chuàng)辦了許多當(dāng)今最重要的人工智能初創(chuàng)公司，包括Cohere,、Character.ai,、Adept、Inceptive,、Essential AI 和 Sakana AI,。

Transformer究竟為何能帶來如此巨大的突破？

在《你需要的只是Attention》這篇論文發(fā)表之前,，語言人工智能領(lǐng)域最先進(jìn)的技術(shù)是一種被稱為遞歸神經(jīng)網(wǎng)絡(luò)（RNN）的深度學(xué)習(xí)架構(gòu),。

顧名思義，RNN是按順序處理數(shù)據(jù)的,，即按照單詞出現(xiàn)的順序一次處理一個(gè)單詞,。

但重要的關(guān)系往往存在于單詞之間，即使它們在一個(gè)序列中不是緊挨著出現(xiàn),。為了使RNN能夠更好地解釋詞與詞之間的這些遠(yuǎn)距離依賴關(guān)系,，一種被稱為“Attention”的機(jī)制變得流行起來。（Attention機(jī)制的發(fā)明通常被認(rèn)為歸功于深度學(xué)習(xí)先驅(qū)約書亞·本吉奧（Yoshua Bengio）在2014年發(fā)表的一篇論文。）

“Attention”使模型能夠考慮單詞之間的關(guān)系,，而不管它們相距多遠(yuǎn),，并確定段落中哪些單詞和短語最值得”關(guān)注”。

在transformer論文發(fā)表之前,，研究人員只將Attention作為RNN架構(gòu)的附加組件,。谷歌團(tuán)隊(duì)的一大飛躍是完全摒棄了RNN，完全依靠Attention來進(jìn)行語言建模,，這就是那篇文章的標(biāo)題為什么叫《你需要的只是Attention》,。

（關(guān)于這篇論文，有一個(gè)迷人但鮮為人知的事實(shí)：據(jù)合著者利昂·瓊斯說,，它的標(biāo)題是對(duì)披頭士樂隊(duì)的歌曲《你需要的只是愛》（All You Need is Love）的致敬,。）

發(fā)明transformer的八位科學(xué)家,。圖片來源：金融時(shí)報(bào)

Attention機(jī)制使transformer的根本創(chuàng)新成為可能，它實(shí)現(xiàn)了語言處理的并行化,，即同時(shí)分析特定文本中的所有單詞,，而不是按順序分析。

作為一個(gè)有趣的類比,，論文合著者之一伊利亞·波洛蘇欣將transformer的結(jié)構(gòu)與2016年科幻電影《降臨》（Arrival）中虛構(gòu)的外星語言進(jìn)行了比較,。影片中的外星人并沒有像人類那樣，按順序生成一串字符來組成單詞和句子,，而是一次生成一個(gè)復(fù)雜的符號(hào),，所有的符號(hào)都傳達(dá)了一個(gè)詳細(xì)的含義，人類必須將其作為一個(gè)整體來解讀,。

Transformer的并行化使它們對(duì)所讀和所寫的文本有了更全面,、更準(zhǔn)確的理解。這也使它們與RNN相比具有更高的計(jì)算效率和可擴(kuò)展性,。Transformer可以在更大的數(shù)據(jù)集上進(jìn)行訓(xùn)練,，并且可以使用比以前的架構(gòu)更多的參數(shù)來構(gòu)建，從而使其功能更加強(qiáng)大,，更具通用性,。事實(shí)上，當(dāng)今基于transformer的領(lǐng)先模型的一大特點(diǎn)就是其規(guī)模,。

Transformer的并行架構(gòu)與GPU硬件的興起不謀而合,，這是一種互惠互利、相互促進(jìn)的歷史巧合,。GPU是一種計(jì)算機(jī)芯片,，它本身具有大規(guī)模并行性，因此非常適合支持基于transformer的計(jì)算工作負(fù)載。（全球領(lǐng)先的GPU生產(chǎn)商英偉可能是當(dāng)今人工智能熱潮的最大受益者,，由于市場對(duì)其芯片的需求驚人，該公司最近的市值超過了1萬億美元,。）

剩下的,，就像人們常說的那樣，就是歷史了,。得益于這些巨大優(yōu)勢,，自發(fā)明以來的六年里，transformer席卷了世界,，開創(chuàng)了生成式人工智能的時(shí)代,。

今天流行的所有“聊天機(jī)器人”——OpenAI的ChatGPT、谷歌的Bard,、微軟的Bing Chat,、Anthropic的Claude、Inflection的Pi等等——都是基于transformer,。從Midjourney到Stable Diffusion再到Runway的每一個(gè)生成圖像或視頻的人工智能工具也是如此,。（從文本到圖像和從文本到視頻技的術(shù)是由擴(kuò)散模型驅(qū)動(dòng)的，而擴(kuò)散模型又使用了transformer,。）

Transformer的影響遠(yuǎn)不止文字和圖片,。當(dāng)今最先進(jìn)的機(jī)器人研究都依賴于transformer。事實(shí)上,，谷歌最新的機(jī)器人研究成果被命名為RT-2,，其中的“T”代表的就是“transformer”。同樣,，在自動(dòng)駕駛汽車領(lǐng)域最有前途的新研究途徑之一是使用視覺transformer,。基于transformer的模型開啟了生物學(xué)中令人驚嘆的新可能性,，包括設(shè)計(jì)出自然界從未出現(xiàn)過的定制蛋白質(zhì)和核酸的能力,。

Transformer的聯(lián)合發(fā)明人阿希什·瓦斯瓦尼總結(jié)得很好：“transformer是一種快速捕捉任何輸入內(nèi)如的不同部分之間相互作用的方法。這是一種通用的方法,，可以捕捉各個(gè)部分之間的相互作用,，例如句子中的片段、音樂中的音符,，圖像中的像素,、蛋白質(zhì)的部分等等。它可以用于任何任務(wù),?！?/p>

天下沒有不散的筵席？

然而，盡管具有令人難以置信的優(yōu)勢，transformer也并非沒有缺點(diǎn),。這些缺點(diǎn)為可能出現(xiàn)的新的和改進(jìn)的體系結(jié)構(gòu)打開了大門,。

Transformer的主要缺點(diǎn)是其驚人的計(jì)算成本。

任何熟悉人工智能世界的人都知道,，當(dāng)今人工智能模型的一個(gè)決定性特征是它們永不滿足的算力需求。今天,，訓(xùn)練一個(gè)尖端的大型語言模型需要連續(xù)幾個(gè)月不停地運(yùn)行數(shù)千個(gè)GPU,。例如，OpenAI今年早些時(shí)候籌集了令人瞠目的100億美元,，其原因是為了支付構(gòu)建先進(jìn)人工智能模型所需的大量算力資源的費(fèi)用,。另一個(gè)例子是，成立僅18個(gè)月的初創(chuàng)公司Inflection最近籌集了超過10億美元的風(fēng)險(xiǎn)投資,，用于構(gòu)建一個(gè)大型GPU集群來訓(xùn)練其語言模型,。

事實(shí)上，基于transformer的模型對(duì)算力的需求如此之大,，以至于當(dāng)前的人工智能熱潮引發(fā)了全球供應(yīng)短缺,，硬件制造商無法以足夠快的速度生產(chǎn)人工智能芯片，以滿足需求,。

為什么transformer對(duì)算力的要求如此之高,？

一個(gè)基本的答案是，transformer的強(qiáng)大之處同時(shí)也是它的弱點(diǎn)：因?yàn)樗鼈儽纫郧暗募軜?gòu)更能有效地?cái)U(kuò)展,，transformer使構(gòu)建比以前存在的大幾個(gè)數(shù)量級(jí)的模型不僅成為了可能,，而且是不可避免。如此龐大的模型相應(yīng)地需要龐大的計(jì)算能力,。

但是transformer的算力成本有一個(gè)更具體的原因：transformer的架構(gòu)與序列長度成二次方關(guān)系,。簡單地說，這意味著當(dāng)transformer處理的序列長度（例如,，段落中的單詞數(shù)量或圖像的大?。┰黾咏o定數(shù)量時(shí)，所需的算力就會(huì)按該數(shù)量的平方增加,，從而迅速變得巨大,。

這種按照平方放大的縮放是有直觀原因的，也是transformer設(shè)計(jì)的固有特點(diǎn),。

回想一下,，Attention使理解單詞之間的關(guān)系成為可能，而不管它們在序列中相距多遠(yuǎn),。它是如何做到這一點(diǎn)的呢,？通過將序列中的每個(gè)單詞與該序列中的每個(gè)其他單詞進(jìn)行比較,。這種兩兩比較的結(jié)果是，隨著序列長度的增加,，所需的計(jì)算步驟數(shù)量將呈二次方增長,，而不是線性增長。舉個(gè)具體的例子,，將序列長度從32個(gè)詞組增加一倍到64個(gè)詞組,，transformer的計(jì)算成本就不僅僅是增加了一倍，而是增加了四倍,。

這種二次方縮放導(dǎo)致了一個(gè)相關(guān)的缺點(diǎn)：transformer很難處理很長的序列,。

隨著序列長度的增長,，將它們送入transformer最終會(huì)變得棘手,，因?yàn)閮?nèi)存和計(jì)算需求會(huì)以二次方的速度激增,。例如，想一想整本教科書（包含數(shù)百萬個(gè)詞元）或整個(gè)基因組（包含數(shù)十億個(gè)詞元）的處理,。

增加模型一次可以輸入的最大序列長度，即所謂的模型的“上下文窗口”,，是當(dāng)今大型語言模型研究的一個(gè)活躍領(lǐng)域。GPT-4模型的上下文窗口的容量是8000個(gè)詞元。幾個(gè)月前，OpenAI發(fā)布了一個(gè)增強(qiáng)版的GPT-4，擁有可容納32,000個(gè)詞元的上下文窗口。OpenAI的競爭對(duì)手Anthropic隨后加大了賭注，最近宣布推出了一個(gè)新模型，其上下文窗口可以容納10萬個(gè)詞元。

毫無疑問,，這場軍備競賽還將繼續(xù)下去。然而,，如果OpenAI,、Anthropic或任何其他公司堅(jiān)持使用transformer架構(gòu)，那么它們制作模型上下文窗口的能力都是有限的,。

人們已經(jīng)做出了各種嘗試,，來構(gòu)建transformer的改進(jìn)版本，它們?nèi)匀皇褂肁ttention,，但能更好地處理長序列,。然而，這些被修改過的transformer架構(gòu)——如Longformer,、Reformer,、Performer、Linformer和Big bird——通常會(huì)犧牲性能,，因此未能得到廣泛應(yīng)用,。

王位的挑戰(zhàn)者

這就把我們帶進(jìn)了可能是當(dāng)今研究領(lǐng)域最豐富的領(lǐng)域，即努力創(chuàng)造transformer的替代品,。這一研究流派的指導(dǎo)原則是用一種亞二次方擴(kuò)展的新函數(shù)來取代Attention,。亞二次方縮放將開啟新的AI模型，這些模型（1）計(jì)算密集度更低,，（2）與transformer相比,，能夠更好地處理長序列。當(dāng)然,，挑戰(zhàn)在于,，在實(shí)現(xiàn)這一目標(biāo)的同時(shí),，還要與transformer的整體性能相匹配。

2021年,，斯坦福大學(xué)的克里斯·雷（Chris Ré）實(shí)驗(yàn)室的一項(xiàng)名為S4的研究為這一研究途徑奠定了基礎(chǔ),。隨后，基于 S4 的一系列前景看好的亞二次方架構(gòu)相繼問世,。

S4家族中最有趣的新架構(gòu)之一是Hyena,，幾個(gè)月前由包括克里斯·雷本人和約書亞·本吉奧在內(nèi)的強(qiáng)大團(tuán)隊(duì)發(fā)布。

為了代替Attention,，Hyena使用了另外兩個(gè)操作：長卷積和矩陣逐元素乘法,。

卷積是機(jī)器學(xué)習(xí)領(lǐng)域最古老的方法之一，最早是由Yann LeCun在20世紀(jì)80年代提出的,。Hyena在這個(gè)古老的架構(gòu)上的新做法是根據(jù)序列長度拉伸和改變卷積過濾器的大小,，以提高計(jì)算效率。

Hyena的初步結(jié)果令人欣喜,。對(duì)于非Attention語言模型而言,，該模型達(dá)到了最新的性能水平。在某些情況下,，它可以與transformer的性能相媲美,，同時(shí)大大減少了計(jì)算量。重要的是,，隨著序列長度的增加,，Hyena相對(duì)于transformer的效率提高會(huì)變得更加顯著，這凸顯了它們在超長輸入中的優(yōu)勢：在8000個(gè)詞元序列長度下,，Hyena運(yùn)算符的速度是Attention的兩倍,，而在64000個(gè)詞元長度下，Hyena運(yùn)算符的速度是Attention的100倍,。

正如Hyena的作者所說：“打破二次方的障礙是邁向深度學(xué)習(xí)新可能性的關(guān)鍵一步,，例如使用整本教科書作為上下文，生成長篇音樂或處理千兆像素級(jí)別的圖像,?！?/p>

至少帶著一絲嘲諷，作者補(bǔ)充道：“我們在亞十億參數(shù)尺度上取得的可喜成果表明,，Attention 可能不是我們所需要的全部,。”

Hyena架構(gòu)的一個(gè)引人注目的早期應(yīng)用是HyenaDNA,，這是斯坦福大學(xué)推出的一種新的基因組學(xué)基礎(chǔ)模型,。利用 Hyena 處理長序列的卓越能力，HyenaDNA 擁有高達(dá) 100 萬個(gè)詞元的上下文窗口,。人類基因組是現(xiàn)存最長（更不用說最重要）的數(shù)據(jù)集之一：每個(gè)人的DNA包含32億個(gè)核苷酸,。這使得它成為像 Hyena 這樣擅長捕捉長距離依賴關(guān)系的模型架構(gòu)的理想用例,。

HyenaDNA的作者為這項(xiàng)技術(shù)未來的發(fā)展提供了一個(gè)誘人的暗示：“想象一下，能夠用整個(gè)人類基因組來向ChatGPT提問——問一些關(guān)于可能的疾病的問題,，預(yù)測藥物反應(yīng),，或者根據(jù)你的特定遺傳密碼指導(dǎo)治療方案，這不是很方便嗎,？”

這里需要注意的一點(diǎn)是,，Hyena最初的工作是在相對(duì)較小的規(guī)模上開展的。最大的Hyena模型有13億個(gè)參數(shù),，而GPT-3有1750億個(gè)參數(shù),，GPT-4（傳聞）有1.8萬億個(gè)參數(shù)。Hyena架構(gòu)的一個(gè)關(guān)鍵考驗(yàn)是,，當(dāng)它的規(guī)模被放大到當(dāng)今transformer模型的大小時(shí),，它是否能繼續(xù)展示出強(qiáng)大的性能和效率提升。

該系列中的其他新型深度學(xué)習(xí)架構(gòu)包括 Monarch Mixer（也來自斯坦福大學(xué)克里斯·雷的實(shí)驗(yàn)室）,、BiGS（來自康奈爾大學(xué)和DeepMind）和 MEGA（來自 Meta）,。

像Hyena一樣，所有這些模型都具有亞二次方縮放特征,，這意味著它們比transformer更具計(jì)算效率,，更適合處理長序列。和Hyena一樣,，它們都很有前途,，但尚未得到證實(shí)：它們中是否有任何一種能夠在當(dāng)今transformer模型運(yùn)行的規(guī)模下保持強(qiáng)勁的性能,，還有待觀察,。

退一步說，計(jì)算效率和遠(yuǎn)程依賴關(guān)系并不是新架構(gòu)旨在改進(jìn)的transformer的唯二兩個(gè)弱點(diǎn),。

Transformer模型的另一個(gè)限制是它們不能持續(xù)學(xué)習(xí),。今天的transformer模型有靜態(tài)參數(shù)。當(dāng)一個(gè)模型被訓(xùn)練時(shí),，它的權(quán)重（神經(jīng)元之間連接的強(qiáng)度）是被設(shè)置好的,；這些權(quán)重不會(huì)根據(jù)模型在現(xiàn)實(shí)世界中部署時(shí)遇到的新信息進(jìn)行更新。

另一個(gè)常被提及的限制是transformer缺乏可解釋性,?；趖ransformer的模型都是“黑匣子”：它們的內(nèi)部運(yùn)作過于復(fù)雜和不透明，以至于人類無法準(zhǔn)確理解它們的行為方式,。對(duì)于安全關(guān)鍵型或高度受監(jiān)管的應(yīng)用（如醫(yī)療保健領(lǐng)域）來說,，這可能是一個(gè)真正的問題。

液體神經(jīng)網(wǎng)絡(luò)（Liquid neural networks）是另一個(gè)試圖挑戰(zhàn)transformer的熱門AI新架構(gòu),，它聲稱可以解決這兩個(gè)缺點(diǎn),。

由拉明·哈桑尼（Ramin Hasani）和丹妮拉·魯斯（Daniela Rus）領(lǐng)導(dǎo)的研究小組在麻省理工學(xué)院創(chuàng)建了液體神經(jīng)網(wǎng)絡(luò),，其靈感來自生物學(xué)，特別是秀麗隱桿線蟲（Caenorhabditis elegans）的大腦的工作方式,。其名稱中的“液體”指的是這樣一個(gè)事實(shí),，即模型的權(quán)重是概率性的，而不是恒定的,，因此可以根據(jù)模型所接觸的輸入而變化,。

液體神經(jīng)網(wǎng)絡(luò)也比現(xiàn)在的transformer模型小得多。在最近的一次概念驗(yàn)證中,，麻省理工學(xué)院的團(tuán)隊(duì)建立了一個(gè)自動(dòng)駕駛汽車系統(tǒng),，該系統(tǒng)僅用19個(gè)神經(jīng)元和253個(gè)參數(shù)就能成功地在公共道路上行駛。

“每個(gè)人都在談?wù)摂U(kuò)大他們的網(wǎng)絡(luò),，”哈桑尼說,。“我們卻希望縮小規(guī)模,，擁有更少但更豐富的節(jié)點(diǎn),。”

除了計(jì)算效率之外,，這種更小的架構(gòu)意味著液體神經(jīng)網(wǎng)絡(luò)比transformer更透明,，更易于人類閱讀。畢竟,，對(duì)于人類觀察者來說,，解讀一個(gè)擁有253個(gè)連接的網(wǎng)絡(luò)中發(fā)生的事情，要比解讀一個(gè)擁有 1750 億個(gè)連接的網(wǎng)絡(luò)中發(fā)生的事情更加切實(shí)可行,。

魯斯是世界領(lǐng)先的機(jī)器人專家之一,，而液體神經(jīng)網(wǎng)絡(luò)似乎也特別適合機(jī)器人應(yīng)用，包括自動(dòng)駕駛汽車和無人機(jī),。它們只能處理時(shí)間序列數(shù)據(jù)（即具有時(shí)間維度的數(shù)據(jù)）,，這意味著它們不能應(yīng)用于圖像或其他靜態(tài)數(shù)據(jù)模式。

值得一提的還有為打造“transformer之后的東西”所做的最后一項(xiàng)努力,?！赌阈枰闹皇茿ttention》這篇論文的八位合著者之一的利昂·瓊斯最近離開了谷歌，與前Stability AI）研究主管大衛(wèi)·哈（David Ha）一起創(chuàng)辦了一家名為Sakana AI的新公司,。

Sakana的任務(wù)是用一種基于進(jìn)化原理的自然啟發(fā)的智能方法來改進(jìn)transformer,。團(tuán)隊(duì)愿景的關(guān)鍵是集體或群體智能的概念，即由許多小模型組成的系統(tǒng)協(xié)同行動(dòng),，而不是一個(gè)單一的模型,。

“學(xué)習(xí)永遠(yuǎn)是贏家，”瓊斯說?！叭斯ぶ悄艿臍v史反映了這樣一個(gè)現(xiàn)實(shí),，即讓一個(gè)模型自己學(xué)習(xí)一些東西總是比人工設(shè)計(jì)它更好。深度學(xué)習(xí)革命本身就是一個(gè)例子,，畢竟我們已經(jīng)從手工構(gòu)建特征檢測器進(jìn)化到讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)自己的特征,。這將成為我們Sakana AI的核心理念，我們將從自然中汲取包括進(jìn)化在內(nèi)的想法來探索這個(gè)領(lǐng)域,?！?/p>

遙遠(yuǎn)的地平線

必須要說，Transformer是一個(gè)非常強(qiáng)大的AI架構(gòu),。

它已經(jīng)成為現(xiàn)代人工智能的基礎(chǔ),。幾乎所有先進(jìn)的AI系統(tǒng)都是基于transformer；每個(gè)人工智能研究人員都已經(jīng)習(xí)慣于使用transformer,。在過去幾年里,，成千上萬的研究人員在彼此的工作基礎(chǔ)上對(duì)transformer進(jìn)行了優(yōu)化。

這為它們提供了強(qiáng)大的在位優(yōu)勢,，使其難以被取代,。

然而，在聚光燈和人工智能炒作的回音室之外,，開發(fā)下一代人工智能架構(gòu)的工作正在如火如荼地進(jìn)行,，這些架構(gòu)在不同方面都優(yōu)于transformer。

雖然這些工作仍處于早期階段,，尚未得到證實(shí),，這些新架構(gòu)是否能成功取代transformer也還遠(yuǎn)未確定，但如果他們做到了,，對(duì)人工智能世界的影響將是巨大的,。

在transformer時(shí)代之前，不同的AI架構(gòu)在不同的用例中各自占主導(dǎo)地位：遞歸神經(jīng)網(wǎng)絡(luò)用于語言領(lǐng)域,，卷積神經(jīng)網(wǎng)絡(luò)用于計(jì)算機(jī)視覺領(lǐng)域,，強(qiáng)化學(xué)習(xí)用于游戲領(lǐng)域,，等等,。

近年來，隨著transformer在一個(gè)又一個(gè)領(lǐng)域證明了自己是最先進(jìn)的,，從語言到視覺到機(jī)器人再到生物學(xué),，人工智能方法論的逐步統(tǒng)一令人矚目。

然而,，這種走向統(tǒng)一的趨勢——“一個(gè)人工智能架構(gòu)來統(tǒng)治所有的人工智能”的趨勢——并不會(huì)無限期地持續(xù)下去,。

可以想象，未來會(huì)出現(xiàn)另一種情況：隨著未來幾年人工智能研究前沿的發(fā)展，新的架構(gòu)會(huì)被開發(fā)出來,，并被證明它們更適合特定領(lǐng)域,。舉例來說，也許transformer在語言處理領(lǐng)域仍將占據(jù)主導(dǎo)地位,，但新型架構(gòu)很快就會(huì)取代transformer,，成為機(jī)器人領(lǐng)域的最先進(jìn)架構(gòu)。

又或許,，一種新的人工智能方法會(huì)被開發(fā)出來,，它的性能會(huì)超越transformer，并迅速取而代之,。

只有一件事是肯定的：今天的人工智能領(lǐng)域發(fā)展如此之快,，如此充滿活力，以至于我們應(yīng)該預(yù)料到變化會(huì)來得快到讓人不舒服,。我們不應(yīng)該把任何事情視作理所當(dāng)然,，而應(yīng)該為未來所帶來的驚喜做好準(zhǔn)備。

本文作者是風(fēng)投機(jī)構(gòu)Radical Ventures的合伙人,，也是福布斯撰稿人,，文章內(nèi)容僅代表作者本人觀點(diǎn)。譯自https://www.forbes.com/sites/robtoews/2023/09/03/transformers-revolutionized-ai-what-will-replace-them/,？sh=580627fe9c1f