原文來(lái)源：硅星人

圖片來(lái)源：由無(wú)界 AI生成

谷歌的大語(yǔ)言模型Gemini 1.0,，一經(jīng)問(wèn)世就技驚四座,。首先在性能方面，無(wú)論是從對(duì)文本,、圖像,、音頻的理解，還是對(duì)57種領(lǐng)域文本以及數(shù)學(xué)問(wèn)題的推理,，幾乎都超過(guò)了自然語(yǔ)言界的霸主GPT-4,。而且在谷歌Gemini的官網(wǎng)上還有這一段話，內(nèi)容是“Gemini是第一個(gè)在MMLU(海量多任務(wù)語(yǔ)言理解)上超過(guò)人類專家的模型”,。

為什么谷歌Gemini這么厲害呢,？其實(shí)最核心的原因來(lái)自于訓(xùn)練谷歌Gemini所使用的兩種服務(wù)器端推理芯片TPU v4和TPU v5e。雖然從結(jié)果來(lái)看，TPU跟GPU都是用來(lái)訓(xùn)練和推理,，但是兩個(gè)人在“解題思路”上,，相距甚遠(yuǎn),。

谷歌在TPU v4上采用了一種名為光學(xué)回路開關(guān)（optical circuit switch,，以下簡(jiǎn)稱OCS）。顧名思義,，就是服務(wù)器組用光來(lái)傳遞信息,。上方是注入模塊，使用850納米激光二極管,，發(fā)射850納米的顯示光,。中間是用來(lái)拆分或者合并光的二向色分光器；下方是用來(lái)反射的2D MEMS陣列,；左右兩端是用來(lái)投射O波段信號(hào)光的2D透鏡陣列和光纖準(zhǔn)直器陣列,。

簡(jiǎn)易版OCS原理

傳統(tǒng)服務(wù)器組用的是銅線導(dǎo)電,，通過(guò)規(guī)定時(shí)間內(nèi)銅線上電子傳輸?shù)膫€(gè)數(shù)來(lái)傳遞信息,。但是任何介質(zhì)，哪怕是不計(jì)成本的采用金或者銀,，依然有電阻的存在,，必然會(huì)減慢電子在這之間傳遞的速度。沒(méi)有任何的光電轉(zhuǎn)換環(huán)節(jié),，全都是由光來(lái)運(yùn)送信息,，沒(méi)有中間商賺差價(jià)。

我們不妨對(duì)比一下市面上最常見(jiàn),，也是Open AI目前的解決方案,，英偉達(dá)H100所使用的Infiniband技術(shù)。這個(gè)技術(shù)使用交換結(jié)構(gòu)拓?fù)?。所有傳輸都在通道適配器處開始或結(jié)束,。每個(gè)處理器都包含一個(gè)主機(jī)通道適配器(HCA )，每個(gè)外設(shè)都有一個(gè)目標(biāo)通道適配器(TCA),。

說(shuō)得直白一點(diǎn),，H100就和過(guò)去的驛站差不多。驛站會(huì)代替權(quán)力中心接收消息,，這樣管理者就可以直接去驛站來(lái)查看自己未來(lái)的任務(wù),。但是TPU v4則是直接燒狼煙，不僅快,，而且跳過(guò)中間所有的消息轉(zhuǎn)達(dá)設(shè)施,，一步到位。根據(jù)谷歌的說(shuō)法，OCS系統(tǒng)和底層光學(xué)組件成本價(jià)格不到TPU v4系統(tǒng)成本的5%,，其功耗不到整個(gè)系統(tǒng)的5%,，又便宜又好用。

說(shuō)到這,，不得不提一個(gè)谷歌創(chuàng)造的概念,，叫做MFU。全稱為模型FLOPs利用率（Model FLOPs Utilization）,，這是一個(gè)不同于其他衡量計(jì)算利用率的方法,，不包含任何反向傳遞期間的作業(yè)，這意味著MFU衡量的效率直接轉(zhuǎn)化為端到端的訓(xùn)練速度,。那也就是說(shuō),，MFU最大上限一定是100%，同時(shí)數(shù)字越高代表訓(xùn)練速度越快,。

谷歌想通過(guò)MFU這個(gè)概念,，來(lái)評(píng)估TPU v4的負(fù)載能力以及運(yùn)行效率，以此得出到底可以給谷歌Gemini上多少?gòu)?qiáng)度,。對(duì)一系列純解碼器變壓器語(yǔ)言模型(下圖以GPT為例)配置進(jìn)行了深入的基準(zhǔn)測(cè)試,，這些配置的參數(shù)從數(shù)十億到數(shù)萬(wàn)億不等。測(cè)試規(guī)定,，模型大?。▍?shù)單位十億）是芯片數(shù)的二分之一。

TPU v4在不同場(chǎng)景下的MFU

在谷歌的基準(zhǔn)測(cè)試活動(dòng)中,，TPU v4實(shí)現(xiàn)了44-56%的MFU。根據(jù)下圖的對(duì)比可以明顯看到,，尤其是多個(gè)TPU v4串聯(lián)的情況,。而這也正是OCS的神奇之處，同時(shí)谷歌也希望借助OCS向世人們傳達(dá)一個(gè)道理：“要相信光,?！?/p>

不同芯片的MFU對(duì)比

既然TPU v4都這么厲害了,，那TPU v5e作為迭代產(chǎn)品,，效果只會(huì)更好。事實(shí)上谷歌之所以將這個(gè)模型命名為Gemini,，也是因?yàn)檫@兩個(gè)TPU,。Gemini的本意是雙子座，代表的是希臘神話中的天神宙斯與斯巴達(dá)王后勒達(dá)所生的雙胞胎卡斯托耳和波魯克斯,。TPU v4和TPU v5e某種意義上也是雙胞胎,，因此得名Gemini,。當(dāng)然，另外有一種可能是開發(fā)者特別喜歡《圣斗士星矢》,，里面黃金十二宮篇大BOSS就是雙子座的撒加,，絕招是銀河星爆。不過(guò)我覺(jué)得后者的可能性低一點(diǎn),。

還有一點(diǎn),，服務(wù)器最大的成本來(lái)自運(yùn)營(yíng)和維護(hù)。但是在這種規(guī)模下,，使用傳統(tǒng)的定期對(duì)持久集群存儲(chǔ)進(jìn)行權(quán)重檢查點(diǎn)操作的方法是不可能保持高吞吐量的,，畢竟要周期地關(guān)閉重啟某個(gè)機(jī)組。所以對(duì)于Gemini,，谷歌使用模型狀態(tài)的冗余內(nèi)存副本，并且在任何計(jì)劃外的硬件故障時(shí),，可以直接從完整的模型副本中快速恢復(fù),。與PaLM和PaLM-2比，盡管使用了大量的培訓(xùn)資源,，但這大大加快了恢復(fù)時(shí)間,。結(jié)果，最大規(guī)模的培訓(xùn)工作的總體產(chǎn)出從85%增加到97%,。

谷歌Gemini背后的服務(wù)器組也是第一款支持嵌入的硬件的超級(jí)計(jì)算機(jī),。嵌入是一種比較貼近谷歌業(yè)務(wù)的算法。嵌入本身是一種相對(duì)低維的空間,，模型可以將高維向量轉(zhuǎn)換為這種低維空間,。借助嵌入，可以更輕松地對(duì)表示字詞的稀疏向量等大型數(shù)據(jù)輸入進(jìn)行機(jī)器學(xué)習(xí),。理想情況下,，嵌入會(huì)將語(yǔ)義上相似的輸入置于嵌入空間中彼此靠近的位置，以捕獲輸入的一些語(yǔ)義,。

嵌入是廣告,、搜索排名、YouTube和Google Play中使用的深度學(xué)習(xí)推薦模型 (DLRM) 的關(guān)鍵組成部分,。每個(gè)TPU v4都包含第三代稀疏核心數(shù)據(jù)流處理器,，可將依賴嵌入的模型加速5至7倍，但僅使用5%的芯片面積和功耗,。

嵌入處理需要大量的端到端通信,，因?yàn)榍度敕植荚谠谀Ｐ蜕蠀f(xié)同工作的TPU芯片周圍。這種模式強(qiáng)調(diào)共享內(nèi)存互連的帶寬,。這就是TPU v4使用3D環(huán)面互連的原因（相對(duì)于TPU v2和v3使用 2D 環(huán)面）,。TPU v4的3D環(huán)面提供了更高的二等分帶寬,，即跨越互連中間從一半芯片到另一半的帶寬，以幫助支持更多數(shù)量的芯片和更好地展現(xiàn)稀疏核心性能,。

TPU v4

毫無(wú)疑問(wèn)，谷歌是一家軟件公司,，谷歌Gemini是一款軟件產(chǎn)品,，但是谷歌勝就勝在硬件上。谷歌強(qiáng)調(diào)Gemini是一個(gè)功能強(qiáng)大的多模態(tài)模型（Multimodal Model）,。多模態(tài)指的是結(jié)合了多種感官輸入形式來(lái)做出更明智的決策,，相當(dāng)于是模型可以用復(fù)雜、多樣和非結(jié)構(gòu)化的數(shù)據(jù)來(lái)求解,。

一個(gè)短視頻（360p到1080p）的數(shù)據(jù)量大約幾十mb到幾百mb,，一條語(yǔ)音的數(shù)據(jù)量約為幾百kb，一行文字的數(shù)據(jù)量約為幾b,。對(duì)于傳統(tǒng)的大語(yǔ)言模型,，如果只處理文字信息，那么對(duì)服務(wù)器的載荷要求不會(huì)很高,，畢竟數(shù)據(jù)量小,。可是一旦將視頻,、圖片等一并處理,，那么服務(wù)器的載荷就會(huì)成指數(shù)倍增長(zhǎng)。事實(shí)上不是其他模型不能弄多模態(tài),，是其他服務(wù)器扛不住這么大數(shù)據(jù)量,，硬件拖了軟件的后腿。谷歌之所以敢弄,，更多的原因是TPU v4和TPU v5e在大規(guī)模串聯(lián)的場(chǎng)景下,，高載荷高M(jìn)FU無(wú)疑是谷歌的絕招。

然而谷歌并不能高興太早,，首先英偉達(dá)的張量計(jì)算GPU H200再過(guò)些日子就要發(fā)售了,。像Open AI這樣的大客戶估計(jì)是第一時(shí)間就能拿到手。到時(shí)候GPT無(wú)論是推理還是訓(xùn)練,，都可能會(huì)來(lái)到一個(gè)非?？鋸埖牧考?jí)。

其次,，微軟也出手了,。2019年時(shí)，微軟啟動(dòng)了一個(gè)名為雅典娜的項(xiàng)目,。通過(guò)設(shè)計(jì)和開發(fā)定制人工智能芯片，以滿足訓(xùn)練大型語(yǔ)言模型和驅(qū)動(dòng)人工智能應(yīng)用的獨(dú)特需求,。而且雅典娜和TPU相似,，也是一個(gè)內(nèi)部項(xiàng)目，能夠減少對(duì)英偉達(dá)等第三方硬件提供商的依賴,。雅典娜是一個(gè)極其神秘的項(xiàng)目，它的性能是多少,，它的外觀是怎樣,，外界一概不知。唯一能夠了解的,，是有些幸運(yùn)的Open AI員工已經(jīng)開始對(duì)雅典娜測(cè)試了,。

雖然不清楚H200和雅典娜具體能為Open AI帶來(lái)哪些變化，不過(guò)可以確定的是,，谷歌以及谷歌Gemini壓力都挺大的,。

TPU對(duì)谷歌意味著什么？

說(shuō)到谷歌的TPU還有一個(gè)小故事,，TPU的全稱是Tensor Processing Unit,，中文是張量處理單元，是 Google 開發(fā)的專用集成電路（ASIC）,，專門用于加速機(jī)器學(xué)習(xí),。雖然在公眾視野中，谷歌是2016年5月的I/O大會(huì)上宣布使用TPU,，可實(shí)際在2015年的時(shí)候TPU就已經(jīng)問(wèn)世,。

神經(jīng)網(wǎng)絡(luò)翻譯技術(shù)從2014年9月提出，百度2015年5月上線首個(gè)互聯(lián)網(wǎng)NMT系統(tǒng)（神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng)）,。NMT技術(shù)克服了傳統(tǒng)方法將句子分割為不同片段進(jìn)行翻譯的缺點(diǎn),，而是充分利用上下文信息,，對(duì)句子進(jìn)行整體的編碼和解碼，從而產(chǎn)生更為流暢的譯文,。

但是以當(dāng)時(shí)的技術(shù),，神經(jīng)翻譯對(duì)服務(wù)器造成的負(fù)載壓力非常大，主要當(dāng)時(shí)硬件沒(méi)那么強(qiáng)大,，也沒(méi)有H100,、A100這樣的產(chǎn)品。從發(fā)表的論文和谷歌Blog來(lái)看,，谷歌實(shí)際上已經(jīng)在當(dāng)時(shí)具備了這樣的技術(shù),，沒(méi)有使用的核心原因就是硬件遭不住。經(jīng)過(guò)大約半年的測(cè)試,，TPU已經(jīng)可以完美適配到服務(wù)器中,，作為算法加速器使用。那到了I/O大會(huì)那天,，谷歌一咬牙一跺腳,，“我們也有NMT了！”

谷歌的TPU最早是不對(duì)外開放的,，直到2018年才開始有云TPU業(yè)務(wù),。就是用戶可以在云上購(gòu)買TPU，來(lái)快速解決需要張量計(jì)算的業(yè)務(wù),。2022年的時(shí)候,，谷歌云上更新了TPU v4業(yè)務(wù)，意味著現(xiàn)在用戶也可以購(gòu)買并使用上文提到的各種技術(shù)來(lái)享受更高的推理和訓(xùn)練能力,。

谷歌和OpenAI最大的不同在于,，前者有很強(qiáng)的業(yè)務(wù)要求，谷歌Gemini不會(huì)是一個(gè)賺錢的工具,，它對(duì)于絕大多數(shù)人來(lái)說(shuō)更像是個(gè)新鮮的高科技玩具,。但是云TPU v4就不一樣了，截至3月31日的季度,，谷歌云業(yè)務(wù)的收入為74億美元,，運(yùn)營(yíng)利潤(rùn)為1.91億美元，利潤(rùn)率為2.5%,。谷歌云業(yè)務(wù)實(shí)現(xiàn)首次盈利,，但是利潤(rùn)率還是太低，尤其是對(duì)比亞馬遜云28%的利潤(rùn),。所以云TPU就成為了谷歌業(yè)務(wù)的一個(gè)大型增長(zhǎng)點(diǎn),，一旦谷歌Gemini的效果反響良好，那么對(duì)谷歌云TPU業(yè)務(wù)的推廣來(lái)說(shuō),，無(wú)疑是王炸,。