——沒說的是,，社交媒體也更樂于分享Gif，以及視頻,。

人類是視覺動物,，所以Sora才會這么搶眼?；蛟S我們太高估了Sora,，又太忽視了Gemini 1.5 Pro,。

Gemini 1.5 Pro展現(xiàn)出的眾多能力中有一點很特殊，它已經(jīng)是一個具備處理視頻語料輸入的多模態(tài)大模型,。Sora能將文字擴展成視頻,，Gemini 1.5 Pro的野心是把理解視頻的能力開放出來。在對模型能力的考驗上,，很難說后者就弱于前者,。

這背后的基礎(chǔ)性工作在上下文輸入長度上。Gemini 1.5 Pro的上下文長度達到1M Token,，這意味著一小時的視頻,、3萬行代碼或者JK·羅琳把小說從《哈利波特與魔法石》寫到《哈利波特與鳳凰社》,，遠高于包括GPT、Claude系列在內(nèi)的目前市面上所有的大模型,。而谷歌甚至透露,，1M Token并不是極限，谷歌內(nèi)部已經(jīng)成功測試了高達10M Token的輸入,，也就是說,，它已經(jīng)能一口氣看完9個小時的《指環(huán)王》三部曲。

上下文長度抵達10M Token到底意味著什么,，等到Sora帶來的激情稍褪,，人們逐漸回過味兒來。

X,、Reddit……越來越多的討論場開始關(guān)注到10M Token所展現(xiàn)出的可能性,，其中最大的爭議在于，它是否“殺死”了RAG（Retrieval Augment Generation,，檢索增強生成）,。

大模型從概念走向商業(yè)應(yīng)用的過程中，本身的問題逐漸暴露,，RAG開始成為貫穿整個2023年最火熱的技術(shù)名詞,。

一個被普遍接受的描述框架給這項技術(shù)找到了最精準的定位。如果將整個AI看作一臺新的計算機,，LLM就是CPU,，上下文窗口是內(nèi)存，RAG技術(shù)是外掛的硬盤,。RAG的責任是降低幻覺,，并且提升這臺“新計算機”的實效性和數(shù)據(jù)訪問權(quán)限。

但本質(zhì)上這是因為這臺“新計算機”仍然又笨又貴,，它需要更多腦容量,、需要了解更具專業(yè)性的知識，同時最好不要亂動昂貴又玻璃心的那顆CPU,。RAG某種程度上是為了生成式AI能夠盡早進入應(yīng)用層面的權(quán)宜之計,。

10M Token的上下文輸入上限，意味著很多RAG要解決的問題不成問題了,，然后一些更激進的觀點出現(xiàn)了,。

曾構(gòu)建了評測基準C-EVAL的付堯認為，10M Token殺死了RAG——或者更心平氣和的說法是,，長文本最終會取代RAG,。

這個觀點引發(fā)了巨大討論,，他也隨后對這個看起來“暴論”式的判斷所引發(fā)的反對觀點做了進一步解釋,，值得一看。

其中最重要的,，是長文本相比于RAG在解碼過程中檢索上的優(yōu)越性：

“RAG只在最開始進行檢索,。通常，給定一個問題,，RAG會檢索與該問題相關(guān)的段落,，然后生成。長上下文對每一層和每個Token進行檢索,。在許多情況下,，模型需要進行即時的每個Token的交錯檢索和推理，并且只有在獲得第一個推理步驟的結(jié)果后才知道要檢索什么,。只有長上下文才能處理這種情況,。

針對RAG支持1B級別的Token，而目前Gemini 1.5 pro支持的上下文長度是1M的問題：

“確實如此,，但輸入文檔存在自然分布,，我傾向于相信大多數(shù)需要檢索的案例都在百萬級以下。例如,，想象一個處理案例的層,，其輸入是相關(guān)的法律文件，或者一個學(xué)習機器學(xué)習的學(xué)生,，其輸入是三本機器學(xué)習書籍——感覺不像1B那么長,，對嗎？”

“大內(nèi)存的發(fā)展并不意味著硬盤的淘汰,?！庇腥顺指鼫睾偷挠^點。

出于成本和效率上的考慮,，超長文本輸入在這兩方面顯然并不成熟,。因此哪怕面對10M Token的上下文輸入上限，RAG仍然是必須的,，就像我們時至今日仍然沒有淘汰掉硬盤,。

如果將上下文的窗口設(shè)定為1M,，按現(xiàn)在0.0015美元/1000token的收費標準,，一次請求就要花掉1.5美元,，這么高的成本顯然是無法實現(xiàn)日常使用的。

時間成本上，1M的上下文長度在Gemini 1.5 Pro的演示實例中,，需要60秒來完成結(jié)果的輸出——但RAG幾乎是實時的,。

付堯的觀點更傾向于——“貴的東西，缺點只有貴”,。

“RAG 很便宜,，長上下文很昂貴。確實如此,，但請記住,，與 LLM 相比，BERT-small 也便宜,，n-gram 更便宜,，但今天我們已經(jīng)不使用它們，因為我們希望模型首先變得智能,，然后再變得智能模型更便宜,。

——人工智能的歷史告訴我們,，讓智能模型變得更便宜比讓廉價模型變得智能要容易得多——當它很便宜時，它就永遠不會智能,?！?/p>

一位開發(fā)者的觀點代表了很多對這一切感到興奮的技術(shù)人員：在這樣一場技術(shù)革命的早期階段，浪費一點時間可能也沒有那么要緊,。

“假設(shè)我花了5分鐘或1小時（見鬼,，即使花了一整天）才將我的整個代碼庫放入聊天的上下文窗口中。如果在那之后,，人工智能能夠像谷歌聲稱的那樣,，在剩下的對話中近乎完美地訪問該上下文,，我會高興、耐心和感激地等待這段時間,?！边@位在一家數(shù)字產(chǎn)品設(shè)計公司中供職的博客作者里這樣寫道。

在這位開發(fā)者發(fā)布這條博客之前,，CognosysAi的聯(lián)創(chuàng)Sully Omarr剛剛往Gemini 1.5 Pro的窗口里塞進去一整個代碼庫,，并且發(fā)現(xiàn)它被完全理解了，甚至Gemini 1.5 Pro辨別出了代碼庫中的問題并且實施了修復(fù),。

“這改變了一切,。”Sully Omarr在X上感嘆,。

被改變的可能也包括與Langchain相關(guān)的一切,。一位開發(fā)者引用了Sully Omarr的話，暗示Langchain甚至所有中間層玩家即將面臨威脅,。

向量數(shù)據(jù)庫可能突然之間就變成了一個偽需求——客戶直接把特定領(lǐng)域的知識一股腦兒扔進對話窗口就好了,，為什么要雇人花時間來做多余的整理工作呢（并且人腦對信息的整理能力也比不過優(yōu)秀的LLM）？

付堯的預(yù)測與這位開發(fā)者相似,，甚至更具體——以Langchain ,、LLaMA index這類框架作為技術(shù)棧的初創(chuàng)公司，會在2025年迎來終結(jié),。

但必須強調(diào)的是,，付堯?qū)τ赗AG的判斷和解釋弱化了在成本和響應(yīng)速度上的考慮，原因或許是他正在為谷歌工作,，而這兩點仍然是讓在當下RAG具備高價值的決定性因素,。而如果看向這場上下文長度的討論背后，谷歌在這場競爭中最大的優(yōu)勢開始展現(xiàn)出來了,。

他擁有目前這個行業(yè)里最多的計算能力,。換句話說，對于上下文長度極限的探索,，目前只有谷歌能做,，它也拿出來了。

從2014年至今,，谷歌已經(jīng)構(gòu)建了6種不同的TPU芯片,。雖然單體性能仍然與H100差距明顯，但TPU更貼合谷歌自己生態(tài)內(nèi)的系統(tǒng),。去年8月,，SemiAnalysis的兩位分析師Dylan Patel和Daniel Nishball揭露谷歌在大模型研發(fā)上的進展時表示，?歌模型FLOPS利?率在上一代TPU產(chǎn)品TPUv4上已經(jīng)?常好,，遠超GPT-4,。

目前谷歌最新的TPU產(chǎn)品是TPUv5e,。兩位分析師的調(diào)查顯示，谷歌掌握的TPUv5e數(shù)量比OpenAI,、Meta,、CoreWeave,、甲骨文和亞馬遜擁有的GPU總和更多,。文章里稱TPUv5e將會用到谷歌最新的大模型（即是后來發(fā)布的Gemini系列）訓(xùn)練上，算力高達1e26 FLOPS,，是GPT-4的5倍,。

這個猜測在谷歌最新開源的Gemma身上得到了佐證,。Gemma是Gemini的輕量化版本，兩者共享相同的基礎(chǔ)框架和相關(guān)技術(shù),，而在Gemma放出的技術(shù)報告中表明,，其訓(xùn)練已經(jīng)完全基于TPUv5e。

這也不難理解為何奧特曼要花7萬億美元為新的算力需求未雨綢膜,。雖然OpenAI擁有的總GPU數(shù)量在2年內(nèi)增長了4倍,。

“"In our research, we’ve also successfully tested up to 10 million tokens."（在研究中，我們也成功測試了多達10M Token）”

這被Sora暫時掩蓋住的一次嘗試或許在未來會作為生成式AI上的一個重要時刻被反復(fù)提及,，它現(xiàn)在也真正讓發(fā)明了transformer框架的谷歌,，回歸到這場本該由自己引領(lǐng)的競爭中了。