文章來(lái)源：硅星人Pro
作者：油醋
圖片來(lái)源：由無(wú)界AI生成
沒(méi)有疑問(wèn)，Gemini 1.5 Pro的隆重推出被Sora搶了風(fēng)頭。
社交平臺(tái)X上OpenAI介紹Sora的第一條動(dòng)態(tài)，現(xiàn)在已經(jīng)被瀏覽了超過(guò)9000萬(wàn)次,，而關(guān)于Gemini 1.5 Pro熱度最高的一條,，來(lái)自谷歌首席科學(xué)家Jeff Dean，區(qū)區(qū)123萬(wàn)人,。
或許Jeff Dean自己也覺(jué)得郁悶,。Gemini 1.5 Pro和Sora共同發(fā)布的一周后，他在X上點(diǎn)贊了沃頓商學(xué)院副教授Ethan Mollick認(rèn)為人們對(duì)大模型的注意力發(fā)生了偏差的觀點(diǎn),。
Ethan Mollick幾乎是教育界最早公開(kāi)推崇生成式AI的人之一,，他在2023年2月公開(kāi)呼吁學(xué)生應(yīng)該都應(yīng)該開(kāi)始用ChatGPT寫(xiě)論文。而這一次他的觀點(diǎn)是,，考慮到大模型在圖像生成方面所體現(xiàn)出的有限價(jià)值,，它實(shí)在是引起了過(guò)多的討論了。
“對(duì)于大模型的實(shí)驗(yàn)室來(lái)說(shuō),，圖像生成更像是一個(gè)聚會(huì)上的節(jié)目……做為內(nèi)核的LLM才是價(jià)值所在,。但社交媒體更樂(lè)于分享照片?！?/em>
——沒(méi)說(shuō)的是,，社交媒體也更樂(lè)于分享Gif，以及視頻,。
人類(lèi)是視覺(jué)動(dòng)物,，所以Sora才會(huì)這么搶眼?；蛟S我們太高估了Sora,，又太忽視了Gemini 1.5 Pro。
Gemini 1.5 Pro展現(xiàn)出的眾多能力中有一點(diǎn)很特殊,，它已經(jīng)是一個(gè)具備處理視頻語(yǔ)料輸入的多模態(tài)大模型,。Sora能將文字?jǐn)U展成視頻，Gemini 1.5 Pro的野心是把理解視頻的能力開(kāi)放出來(lái),。在對(duì)模型能力的考驗(yàn)上,，很難說(shuō)后者就弱于前者。
這背后的基礎(chǔ)性工作在上下文輸入長(zhǎng)度上,。Gemini 1.5 Pro的上下文長(zhǎng)度達(dá)到1M Token,，這意味著一小時(shí)的視頻、3萬(wàn)行代碼或者JK·羅琳把小說(shuō)從《哈利波特與魔法石》寫(xiě)到《哈利波特與鳳凰社》,，遠(yuǎn)高于包括GPT,、Claude系列在內(nèi)的目前市面上所有的大模型。而谷歌甚至透露,，1M Token并不是極限，谷歌內(nèi)部已經(jīng)成功測(cè)試了高達(dá)10M Token的輸入,，也就是說(shuō),，它已經(jīng)能一口氣看完9個(gè)小時(shí)的《指環(huán)王》三部曲,。
上下文長(zhǎng)度抵達(dá)10M Token到底意味著什么，等到Sora帶來(lái)的激情稍褪,，人們逐漸回過(guò)味兒來(lái),。
X、Reddit……越來(lái)越多的討論場(chǎng)開(kāi)始關(guān)注到10M Token所展現(xiàn)出的可能性,，其中最大的爭(zhēng)議在于,，它是否“殺死”了RAG（Retrieval Augment Generation，檢索增強(qiáng)生成）,。
大模型從概念走向商業(yè)應(yīng)用的過(guò)程中,，本身的問(wèn)題逐漸暴露，RAG開(kāi)始成為貫穿整個(gè)2023年最火熱的技術(shù)名詞,。
一個(gè)被普遍接受的描述框架給這項(xiàng)技術(shù)找到了最精準(zhǔn)的定位,。如果將整個(gè)AI看作一臺(tái)新的計(jì)算機(jī)，LLM就是CPU,，上下文窗口是內(nèi)存,，RAG技術(shù)是外掛的硬盤(pán)。RAG的責(zé)任是降低幻覺(jué),，并且提升這臺(tái)“新計(jì)算機(jī)”的實(shí)效性和數(shù)據(jù)訪(fǎng)問(wèn)權(quán)限,。
但本質(zhì)上這是因?yàn)檫@臺(tái)“新計(jì)算機(jī)”仍然又笨又貴，它需要更多腦容量,、需要了解更具專(zhuān)業(yè)性的知識(shí),，同時(shí)最好不要亂動(dòng)昂貴又玻璃心的那顆CPU。RAG某種程度上是為了生成式AI能夠盡早進(jìn)入應(yīng)用層面的權(quán)宜之計(jì),。
10M Token的上下文輸入上限,，意味著很多RAG要解決的問(wèn)題不成問(wèn)題了，然后一些更激進(jìn)的觀點(diǎn)出現(xiàn)了,。
曾構(gòu)建了評(píng)測(cè)基準(zhǔn)C-EVAL的付堯認(rèn)為,，10M Token殺死了RAG——或者更心平氣和的說(shuō)法是，長(zhǎng)文本最終會(huì)取代RAG,。
這個(gè)觀點(diǎn)引發(fā)了巨大討論,，他也隨后對(duì)這個(gè)看起來(lái)“暴論”式的判斷所引發(fā)的反對(duì)觀點(diǎn)做了進(jìn)一步解釋?zhuān)档靡豢础?/p>
其中最重要的,，是長(zhǎng)文本相比于RAG在解碼過(guò)程中檢索上的優(yōu)越性：
“RAG只在最開(kāi)始進(jìn)行檢索。通常,，給定一個(gè)問(wèn)題,，RAG會(huì)檢索與該問(wèn)題相關(guān)的段落，然后生成,。長(zhǎng)上下文對(duì)每一層和每個(gè)Token進(jìn)行檢索,。在許多情況下,，模型需要進(jìn)行即時(shí)的每個(gè)Token的交錯(cuò)檢索和推理，并且只有在獲得第一個(gè)推理步驟的結(jié)果后才知道要檢索什么,。只有長(zhǎng)上下文才能處理這種情況,。
針對(duì)RAG支持1B級(jí)別的Token，而目前Gemini 1.5 pro支持的上下文長(zhǎng)度是1M的問(wèn)題：
“確實(shí)如此,，但輸入文檔存在自然分布,，我傾向于相信大多數(shù)需要檢索的案例都在百萬(wàn)級(jí)以下。例如,，想象一個(gè)處理案例的層,，其輸入是相關(guān)的法律文件，或者一個(gè)學(xué)習(xí)機(jī)器學(xué)習(xí)的學(xué)生,，其輸入是三本機(jī)器學(xué)習(xí)書(shū)籍——感覺(jué)不像1B那么長(zhǎng),，對(duì)嗎？”
“大內(nèi)存的發(fā)展并不意味著硬盤(pán)的淘汰,?！庇腥顺指鼫睾偷挠^點(diǎn)。
出于成本和效率上的考慮,，超長(zhǎng)文本輸入在這兩方面顯然并不成熟,。因此哪怕面對(duì)10M Token的上下文輸入上限，RAG仍然是必須的,，就像我們時(shí)至今日仍然沒(méi)有淘汰掉硬盤(pán),。
如果將上下文的窗口設(shè)定為1M,，按現(xiàn)在0.0015美元/1000token的收費(fèi)標(biāo)準(zhǔn)，一次請(qǐng)求就要花掉1.5美元,，這么高的成本顯然是無(wú)法實(shí)現(xiàn)日常使用的,。
時(shí)間成本上，1M的上下文長(zhǎng)度在Gemini 1.5 Pro的演示實(shí)例中,，需要60秒來(lái)完成結(jié)果的輸出——但RAG幾乎是實(shí)時(shí)的,。
付堯的觀點(diǎn)更傾向于——“貴的東西，缺點(diǎn)只有貴”,。
“RAG 很便宜,，長(zhǎng)上下文很昂貴。確實(shí)如此,，但請(qǐng)記住,，與 LLM 相比，BERT-small 也便宜，n-gram 更便宜,，但今天我們已經(jīng)不使用它們,，因?yàn)槲覀兿ＭＰ褪紫茸兊弥悄埽缓笤僮兊弥悄苣Ｐ透阋恕?/em>
——人工智能的歷史告訴我們,，讓智能模型變得更便宜比讓廉價(jià)模型變得智能要容易得多——當(dāng)它很便宜時(shí),，它就永遠(yuǎn)不會(huì)智能?！?/p>
一位開(kāi)發(fā)者的觀點(diǎn)代表了很多對(duì)這一切感到興奮的技術(shù)人員：在這樣一場(chǎng)技術(shù)革命的早期階段,，浪費(fèi)一點(diǎn)時(shí)間可能也沒(méi)有那么要緊。
“假設(shè)我花了5分鐘或1小時(shí)（見(jiàn)鬼,，即使花了一整天）才將我的整個(gè)代碼庫(kù)放入聊天的上下文窗口中,。如果在那之后，人工智能能夠像谷歌聲稱(chēng)的那樣,，在剩下的對(duì)話(huà)中近乎完美地訪(fǎng)問(wèn)該上下文,，我會(huì)高興、耐心和感激地等待這段時(shí)間,?！边@位在一家數(shù)字產(chǎn)品設(shè)計(jì)公司中供職的博客作者里這樣寫(xiě)道。
在這位開(kāi)發(fā)者發(fā)布這條博客之前,，CognosysAi的聯(lián)創(chuàng)Sully Omarr剛剛往Gemini 1.5 Pro的窗口里塞進(jìn)去一整個(gè)代碼庫(kù),，并且發(fā)現(xiàn)它被完全理解了，甚至Gemini 1.5 Pro辨別出了代碼庫(kù)中的問(wèn)題并且實(shí)施了修復(fù),。
“這改變了一切,。”Sully Omarr在X上感嘆,。
被改變的可能也包括與Langchain相關(guān)的一切,。一位開(kāi)發(fā)者引用了Sully Omarr的話(huà),，暗示Langchain甚至所有中間層玩家即將面臨威脅。
向量數(shù)據(jù)庫(kù)可能突然之間就變成了一個(gè)偽需求——客戶(hù)直接把特定領(lǐng)域的知識(shí)一股腦兒扔進(jìn)對(duì)話(huà)窗口就好了,，為什么要雇人花時(shí)間來(lái)做多余的整理工作呢（并且人腦對(duì)信息的整理能力也比不過(guò)優(yōu)秀的LLM）,？
付堯的預(yù)測(cè)與這位開(kāi)發(fā)者相似，甚至更具體——以L(fǎng)angchain ,、LLaMA index這類(lèi)框架作為技術(shù)棧的初創(chuàng)公司,，會(huì)在2025年迎來(lái)終結(jié)。
但必須強(qiáng)調(diào)的是,，付堯?qū)τ赗AG的判斷和解釋弱化了在成本和響應(yīng)速度上的考慮,，原因或許是他正在為谷歌工作，而這兩點(diǎn)仍然是讓在當(dāng)下RAG具備高價(jià)值的決定性因素,。而如果看向這場(chǎng)上下文長(zhǎng)度的討論背后,，谷歌在這場(chǎng)競(jìng)爭(zhēng)中最大的優(yōu)勢(shì)開(kāi)始展現(xiàn)出來(lái)了。
他擁有目前這個(gè)行業(yè)里最多的計(jì)算能力,。換句話(huà)說(shuō),，對(duì)于上下文長(zhǎng)度極限的探索，目前只有谷歌能做,，它也拿出來(lái)了,。
從2014年至今，谷歌已經(jīng)構(gòu)建了6種不同的TPU芯片,。雖然單體性能仍然與H100差距明顯,，但TPU更貼合谷歌自己生態(tài)內(nèi)的系統(tǒng)。去年8月,，SemiAnalysis的兩位分析師Dylan Patel和Daniel Nishball揭露谷歌在大模型研發(fā)上的進(jìn)展時(shí)表示,，?歌模型FLOPS利?率在上一代TPU產(chǎn)品TPUv4上已經(jīng)?常好，遠(yuǎn)超GPT-4,。
目前谷歌最新的TPU產(chǎn)品是TPUv5e,。兩位分析師的調(diào)查顯示，谷歌掌握的TPUv5e數(shù)量比OpenAI,、Meta,、CoreWeave、甲骨文和亞馬遜擁有的GPU總和更多,。文章里稱(chēng)TPUv5e將會(huì)用到谷歌最新的大模型（即是后來(lái)發(fā)布的Gemini系列）訓(xùn)練上,，算力高達(dá)1e26 FLOPS，是GPT-4的5倍,。
這個(gè)猜測(cè)在谷歌最新開(kāi)源的Gemma身上得到了佐證。Gemma是Gemini的輕量化版本,，兩者共享相同的基礎(chǔ)框架和相關(guān)技術(shù),，而在Gemma放出的技術(shù)報(bào)告中表明，其訓(xùn)練已經(jīng)完全基于TPUv5e,。
這也不難理解為何奧特曼要花7萬(wàn)億美元為新的算力需求未雨綢膜,。雖然OpenAI擁有的總GPU數(shù)量在2年內(nèi)增長(zhǎng)了4倍。
“"In our research, we’ve also successfully tested up to 10 million tokens."（在研究中,，我們也成功測(cè)試了多達(dá)10M Token）”
這被Sora暫時(shí)掩蓋住的一次嘗試或許在未來(lái)會(huì)作為生成式AI上的一個(gè)重要時(shí)刻被反復(fù)提及,，它現(xiàn)在也真正讓發(fā)明了transformer框架的谷歌，回歸到這場(chǎng)本該由自己引領(lǐng)的競(jìng)爭(zhēng)中了,。
免責(zé)聲明：本文來(lái)自網(wǎng)絡(luò)收錄或投稿，觀點(diǎn)僅代表作者本人,，不代表芒果財(cái)經(jīng)贊同其觀點(diǎn)或證實(shí)其描述,，版權(quán)歸原作者所有。轉(zhuǎn)載請(qǐng)注明出處：http://lequren.com/1089792.html
溫馨提示：投資有風(fēng)險(xiǎn),，入市須謹(jǐn)慎,。本資訊不作為投資理財(cái)建議。
