“最大”,、最有能力”,、“最佳”,、“最高效”，谷歌為其12月7日新發(fā)布的多模態(tài)大模型Gemini冠上了好幾個“最”,，與OpenAI GPT-4“比高高”的勝負欲呼之欲出,。

區(qū)分為Ultra、Pro,、Nano三個尺寸的Gemini,，不僅號稱在各種“AI考試”中得了“高分”，演示視頻里顯示的Gemini簡直就是“聽說讀寫”樣樣拿的“超級工具”,。

按照官方說法,，Gemini Ultra最為強大，兼具多模態(tài)能力,、專業(yè)性與準確度,，能以圖文、語音的形式輸入輸出不說,，具體還能批改數(shù)學作業(yè),，指導運動員的動作與發(fā)力，還能夠執(zhí)行復雜的繪制圖表,、編碼等任務,，在MMLU（大規(guī)模多任務語言理解）測試里甚至“超越了人類專家”。

不過,，目前能供C端普通用戶體驗的是Gemini Pro版,，按官方定位是“在各種任務上擴展的最佳模型”，已集成至谷歌此前發(fā)布的對話機器人Bard中,；“在設備上執(zhí)行任務的最高效模型”Gemini Nano將置入谷歌智能手機Pixel8 Pro,；而“最大且最有能力，適用于高度復雜任務”的Gemini Ultra,，谷歌的計劃是在明年年初開放給開發(fā)者和企業(yè)用戶,。

那么，Gemini真的比GPT-4強嗎,？

有網(wǎng)友發(fā)現(xiàn),，谷歌給出的Gemini Ultra“考試成績”用的是自家的“試卷”（測試方法）；而彭博社指出,，Gemini的演示視頻非實時,，網(wǎng)友們也覺得該視頻有剪輯痕跡。

《元宇宙日爆》實測了Bard的數(shù)學能力,，該對話機器人已植入了精調(diào)的Gemini Pro模型,，結(jié)果顯示，Bard對復雜的數(shù)學題仍有理解錯誤,，尤其是識圖方面,。

谷歌展示Gemini “聽說讀寫”能力

Gemini是谷歌從頭構建的多模態(tài)人工智能大模型,。盡管在時間上落后GPT-4許多,，但被谷歌以“能力最強”對外推出，“強”的一面是Gemini的多模態(tài)能力,。

它能夠同時處理和解析文本,、圖像,、音頻,、視頻以及代碼等多種數(shù)據(jù)類型，也就是說,，用戶可以將各種形式的信息輸入給Gemini,，它不僅能理解，還能分析甚至按你的需求處理任務,。

目前,，Gemini還在1.0版，按規(guī)模不同分為Ultra,、Pro和Nano,。Ultra版本是適用于高度復雜的任務，而Pro版本則專注于多任務處理,，Nano版本則針對移動設備上的應用,。三種版本有針對性地適用于多個不同場景，且在多項基準測試中展現(xiàn)出超群實力,。

谷歌官方放出的宣傳視頻展示了Gemini超強的多模態(tài)能力,，相信看完后你會驚呼。

“超級模型”Gemini Ultra的背后有谷歌發(fā)布的測試數(shù)據(jù)支撐,。在32個廣泛用于測評大型語言模型（LLM）的學術基準中,，它在30個上性能超過了大模型領域當前的技術水平,。

Gemini Ultra號稱以90.0%的得分成為第一個在MMLU（大規(guī)模多任務語言理解）上“勝過人類專家的模型”，該測試使用數(shù)學,、物理,、歷史、法律,、醫(yī)學和倫理學等57個學科的組合來測試世界知識和解決問題的能力,。Gemini在包括文本和編碼在內(nèi)的一系列基準測試中超越了目前的技術水平。

MMLU是一種針對大模型的語言理解能力的測評,，包含了57個關于人類知識的多選題回答任務,，涵蓋了初等數(shù)學、美國歷史,、計算機科學,、法律等，難度覆蓋高中水平到專家水平的人類知識,，是目前主流的的大模型語義理解測評之一,。

從谷歌給出的測試結(jié)果來看，Gemini在理解復雜數(shù)據(jù)和執(zhí)行高級任務方面將對GPT-4構成強有力的競爭,。

谷歌稱Gemini在MMLU測評中首次超越人類專家

由于從一開始構建就基于多模態(tài)訓練,，Gemini Ultra理論上對文字,、圖片、語音,、視頻,、代碼等各種形態(tài)的信息都能理解，這就給AI應用和使用場景帶來了更多可能性,。

例如在教育領域,，借助Gemini Ultra的多模態(tài)推理技能，凌亂的手寫筆記能被理解,，學生解題時出錯的步驟能被發(fā)現(xiàn),，然后給出題目的正確解答和過程。這一套下來,，不能說要淘汰教師吧,，至少老師們也得到了一個高能AI助手。

Gemini可以批改學生作業(yè)

在視頻的理解與推理上，Gemini Ultra甚至展現(xiàn)出“足球教練”的素養(yǎng),，能分析運動員的動作與發(fā)力,，還會給出具體的改進建議,。

Gemini可理解視頻內(nèi)容并給運動員提供指導建議

對于復雜的圖像理解,、代碼生成、指令跟蹤,，Gemini Ultra也不在話下,。輸入圖像與提示次“我希望你采用左上角子圖中描繪的函數(shù)，將其乘以1000,，然后將其添加到左下子圖中描繪的函數(shù)中,，生成 matplotlib 代碼單個結(jié)果圖”后，Gemini Ultra 能夠完美的執(zhí)行逆圖形任務來推斷生成繪圖的代碼,、執(zhí)行額外的數(shù)學轉(zhuǎn)換并生成相關代碼,。

從谷歌給出的這些案例看，Gemini Ultra簡直是“地表最強”的大模型,，觀眾朋友們最想知道的是,，這個大模型界的“超級賽亞人”，咱啥時候能用上,？

按照谷歌的披露,，從12月6號開始，Bard就會上載Gemini Pro的精細調(diào)整版本,，用于更高級的推理,、規(guī)劃、理解等,，這是Bard自推出以來的最大升級,。

需要注意的是,，集成了Gemini Pro的Bard只提供英語支持,，可在全球170多個國家和地區(qū)使用，計劃在不久的將來擴展到不同的模態(tài),，支持新的語言和地區(qū),。也就是說，中文用戶目前還無法完美體驗Gemini Pro,。

Gemini Nano最先在谷歌的Pixel 8 Pro智能手機上應用,，從WhatsApp開始，明年將支持更多的消息應用,。

在未來幾個月中,，Gemini還將在更多的產(chǎn)品和服務中推出，包括Search,、Ads,、Chrome和Duet AI,。也就是說，谷歌的搜索引擎中也將輸入Gemini能力,。

至于“最強”的Gemini Ultra,，普通用戶還得等等。谷歌說,，它正在進行信任和安全性檢查,，在推出前還得通過對人類反饋的微調(diào)和強化學習（RLHF）的進一步改進。

在這個過程中,，Gemini Ultra會有選擇地給客戶,、開發(fā)人員、合作伙伴以及安全和責任專家拿來早期實驗,，等待反饋,，然后在明年初向開發(fā)人員和企業(yè)客戶開放。

Ultra的MMLU“試卷”疑為谷歌版

展示的是最強的Gemini Ultra,，但推出和使用要緩一緩,，谷歌這樣的操作很快就惹來了懷疑，真比GPT-4強嗎,？

彭博社就出來“打臉”說,，谷歌的模型和OpenAI相比還仍有差距，現(xiàn)在這能力也僅憑演示,，而視頻演示還是錄制的,，又不實時，很可能是“精心調(diào)整的文本提示與靜態(tài)圖像”,。彭博社還指出,，Gemini的回答需要其他信息的輔助，在真正的交互中需要暗示性很強的提示,。

圍觀演示視頻的網(wǎng)友們也覺得,，視頻中有很明顯的剪輯痕跡，“強大的能力存在水分”,。

而谷歌給Gemini Ultra考試的MMLU測評,，被網(wǎng)友指出用的是自家出的“試卷”。在57個科目的多選題測試中,，得了90分的Ultra,，底下分明標著“CoT@32*”，這是谷歌自己調(diào)試的測評方案,。如果采用和GPT-4同樣的標準,，它的得分只有83.7，還不如得分86.4的GPT-4。

Gemini Ultra在谷歌調(diào)整的測試方案中得分90

學術上的事情太專業(yè)，好在谷歌已經(jīng)把Gemini植入了Bard,，盡管用的是Utral的低配版Pro,，但也號稱能多任務處理，這是普通大眾最能直接測試Gemini的方式了,。

《元宇宙日爆》直接選用了數(shù)學題,，因為ChatGPT對數(shù)學就不太精通，而有唯一正確性的數(shù)學被OpenAI視作通往AGI的基礎,，咱來看看被輸入Gemini能力的Bard是否擅長數(shù)學,。

我們統(tǒng)一用英文進行提問，題1為求算圓錐體積,，題2為稍難的幾何證明題,。

測試結(jié)果表明，Gemini Pro能夠準確識別圖像以及圖片內(nèi)的文字,，也能夠正確解決簡單數(shù)學問題,，但在處理復雜數(shù)學題時，仍然存在明顯錯誤,。題2中的錯誤就很明顯,，Bard在第2步將EG與AB兩條線錯誤地證明為相互垂直。

有Gemin Pro能力的Bard做數(shù)學題還不完美

這難道是因為Bard用的是Gemini Pro而顯得不夠強大？那咱只能等Ultra加入再測試了,。

而會引入智能手機Pixel 8 Pro的Gemini Nano,，將應用在“記錄器摘要”和 “Gboard 智能回復”兩項功能中。

按谷歌說法,，即使手機不連網(wǎng),，記錄器也可以獲得手機對話錄音、采訪,、演示等內(nèi)容的摘要,；而智能回復功能類似掛斷電話后的自動回復,，Gemini Nano可以識別來信的內(nèi)容,，生成對應的回復。不過,，這兩項功能,，目前也只支持英文文本的識別。

按照DeepMind曾提出的 AGI 評估框架，在AGI-1階段,，人工智能將能夠跨領域和跨模態(tài)地進行學習和推理,，在多個領域和任務上表現(xiàn)出智能，如問答,、摘要,、翻譯、對話等,，實現(xiàn)與人類和其他 AI 進行基本的溝通和協(xié)作,，感知和表達簡單的情感和價值。

綜合Google官方發(fā)布與實際測試體驗來看,，值得期待并有希望超越GPT-4模型的仍是尚未公開發(fā)布的Ultra版本,，如果這個版本的多模態(tài)能力真能如演示般表現(xiàn)，那么谷歌距離它定義的AGI也就不遠了,。