原文來源：阿爾法公社

圖片來源：由無界 AI生成

在ChatGPT發(fā)布一年之后,，生成式AI已經(jīng)成為一個具有確定性的技術(shù)浪潮，而伊隆·馬斯克旗下的xAI公司計劃在本周將它11月初發(fā)布的大模型Grok接入X平臺（推特）,，對X Premium+訂閱者們開放,。

xAI在今年7月成立，之后迅速訓(xùn)練出Grok-0這個基礎(chǔ)模型,，然后又經(jīng)過調(diào)優(yōu)進化成Grok-1,。這個模型雖然參數(shù)只有大約330億，但是能力已經(jīng)超過llama2 70B和GPT-3.5,，尤其在數(shù)學和編碼方面表現(xiàn)突出,。研究團隊也在大模型的推理能力和可靠性方面開展研究。

馬斯克組建了一個豪華的核心技術(shù)團隊,，團隊成員們來自DeepMind,、OpenAI、谷歌研究院,、微軟研究院,、特斯拉和多倫多大學，主導(dǎo)過多個AI基礎(chǔ)算法研究和知名AI項目,，華人比例奇高,，其中還有兩位研究人員的論文引用數(shù)超過20萬。

Grok將通過獨家訪問X（原推特）及其實時的用戶生成的帖子和信息來實現(xiàn)差異化，它能訪問在X上發(fā)布的最新數(shù)據(jù),，并在用戶詢問實時問題時提供最新信息,。

如果您對人工智能的新浪潮有興趣,，有見解，有創(chuàng)業(yè)意愿,，歡迎掃碼添加“阿爾法小助理”,，備注您的“姓名+職位”，與我們深度連接,。

打造“追求真理的”的AI,，馬斯克組建了豪華核心團隊

作為xAI的創(chuàng)始人，馬斯克對AI有深刻的積累和認知,。一方面,，早在2013年，他就開啟了特斯拉在自動駕駛方面的探索,，目前特斯拉的自動駕駛硬件迭代到第四代,，F(xiàn)SD算法迭代到V12版本，并將在近期更新,。

另一方面,，馬斯克是OpenAI的聯(lián)合創(chuàng)始人之一，當OpenAI還是非盈利研究組織時,，他為OpenAI注入了5000萬-1億美元資金,，支持它的早期發(fā)展。而OpenAI的聯(lián)合創(chuàng)始人之一Andrej Karpathy在2017年6月-2022年7月?lián)翁厮估腁I總監(jiān),，主導(dǎo)著特斯拉的自動駕駛項目,。

2018年,，馬斯克離開了OpenAI，根據(jù)OpenAI的博客文章和馬斯克后來的推文,，理由是防止隨著特斯拉更加專注于人工智能而與OpenAI產(chǎn)生利益沖突,；根據(jù)Semafor報道，馬斯克曾提議他接管OpenAI的領(lǐng)導(dǎo),，并在提議被拒絕后離開,；而《金融時報》報道稱，馬斯克的離開也是由于與其他董事會成員和員工在OpenAI的人工智能安全方法上的沖突,。

在離開OpenAI多年,，且ChatGPT引發(fā)了AI熱潮后，馬斯克于今年7月宣布成立xAI,，這家公司的目標是構(gòu)建能“理解宇宙真正本質(zhì)”的人工智能。

馬斯克在接受采訪時表示：“從人工智能安全的角度來看,，一個極度好奇的人工智能,，一個試圖理解宇宙的人工智能，將會支持人類,?！?/p>

豪華的核心技術(shù)團隊

馬斯克搭建了一個豪華的核心技術(shù)團隊，他們來自DeepMind,、OpenAI,、谷歌研究院、微軟研究院,、特斯拉和多倫多大學,。

他們在過去主導(dǎo)過不少AI研究和技術(shù)的突破，例如Adam優(yōu)化器,，對抗性示例,，Transformer-XL，Memorizing Transformer,，自動形式化等,。此外，還包括AlphaStar,、AlphaCode,、Inception、Minerva,、GPT-3.5和GPT-4等工程和產(chǎn)品方面的重要成果,。

這個團隊除了來自大廠和研究院外，還有一個特點是大多數(shù)擁有扎實的數(shù)學,、物理背景,。

例如xAI聯(lián)合創(chuàng)始人楊格（Greg Yang ）在哈佛取得數(shù)學學士與計算機碩士學位，師從丘成桐,。丘成桐帶著楊格出席活動,、認識各個方向的博士生、數(shù)學家,，還推薦他申請數(shù)學界本科生能取得的最高榮譽：摩根獎,。

楊格透露,，xAI將深入研究人工智能的一個方面—“深度學習的數(shù)學”,，并“為大型神經(jīng)網(wǎng)絡(luò)發(fā)展‘萬物理論’”，以將人工智能“提升到下一個層次”,。

除了作為聯(lián)合創(chuàng)始人的楊格外,，在核心團隊中還有張國棟 （Guodong Zhang），戴自航 （Zihang Dai）,，吳宇懷（Yuhuai Tony Wu）,，以及之后加入的Jimmy Ba、xiao sun,、Ting Chen等華人成員,，他們都在底層技術(shù)上有建樹。

戴自航（Zihang Dai）是CMU和Google Brain于2019年發(fā)布預(yù)訓(xùn)練語言模型XLNet論文的共同一作,，這個模型在20項任務(wù)上超越了當時的SOTA模型BERT,。

戴自航2009年入讀清華經(jīng)管學院的信息管理與信息系統(tǒng)專業(yè),，此后前往 CMU開啟六年的計算機碩博生涯,，師從Yiming Yang。在博士期間深度參與圖靈獎得主Yoshua Bengio創(chuàng)立的Mila實驗室,，Google Brain團隊,，并在博士畢業(yè)后正式加入Google Brain，擔任研究科學家,，主要方向為自然語言處理,、模型預(yù)訓(xùn)練。

張國棟（ Guodong Zhang）本科就讀于浙江大學,，他在輔修的竺可楨學院工程教育高級班中連續(xù)三年排名專業(yè)第一,；此后，他前往多倫多大學攻讀機器學習博士學位,。

讀博期間，他在Geoffrey Hinton的指導(dǎo)下,，作為谷歌大腦團隊的實習生從事大規(guī)模優(yōu)化與快速權(quán)重線性注意力研究（Large-scale optimization and fast-weights linear attention）,，而他也在多智能體優(yōu)化與應(yīng)用,、深度學習、貝葉斯深度學習等領(lǐng)域發(fā)表頂會論文,。

博士畢業(yè)后,，張國棟全職加入DeepMind，成為Gemini計劃（直接對標GPT-4）的核心成員,，負責訓(xùn)練與微調(diào)大型語言模型,。

吳宇懷 Yuhuai (Tony) Wu的高中和大學時光均在北美度過，他本科在紐布倫斯威克大學讀數(shù)學,，并在多倫多大學獲得機器學習學位,，師從Roger Grosse和Jimmy Ba（也是xAI核心團隊成員）。

在求學期間,，吳宇懷在Mila，OpenAI,，DeepMind和Google做過研究員,。而在他的一項研究中，他和其他研究人員訓(xùn)練了一個增強大語言模型Minerva,，這個模型數(shù)學能力很強，在波蘭的2022年國家數(shù)學考試中,，答對了65%的問題,。這與xAI深入研究“深度學習的數(shù)學”的目標非常匹配。

Jimmy Ba曾擔任多倫多大學的助理教授（AP）,，他的本碩博也都在多倫多大學完成,，博士時的導(dǎo)師是Geoffrey Hinton。

他還是加拿大先進研究院人工智能主席,，長期目標是如何構(gòu)建具有類人效率和適應(yīng)性的通用問題解決機器。Jimmy Ba在谷歌學術(shù)的引用數(shù)達到200844,，而光是與Adam優(yōu)化器有關(guān)的論文就超過16萬,，2015年與注意力相關(guān)的論文引用也超過1.1萬。他事實上也是現(xiàn)在大模型技術(shù)的理論奠基人之一,。

xiao sun在北京大學獲得學士學位,，在耶魯大學獲得EE的博士學位，此后在IBM Watson和Meta擔任研究科學家,。他的技術(shù)背景不在于AI模型,，而在于AI相關(guān)的硬件和半導(dǎo)體，尤其是AI的軟硬件協(xié)同,。他曾獲得MIT TR35（35歲以下創(chuàng)新35人）獎項,。

Ting Chen在北京郵電大學獲得學士學位,，在美國東北大學和UCLA分別獲得一個博士學位。之后他在谷歌Brain擔任研究科學家,，他的谷歌學術(shù)總引用數(shù)達到22363,。他引用數(shù)最高的論文提出SimCLR，一個簡單的視覺表示對比學習框架,。這篇論文是與Geoffrey Hinton合作的,，引用數(shù)達到了14579。

除了Jimmy Ba外,，創(chuàng)始團隊中還有另一位谷歌學術(shù)論文應(yīng)用數(shù)超過20萬的資深研究者,，他是Christian Szegedy。Szegedy是吳宇懷在谷歌時的團隊負責人,，在谷歌工作了13年,，有兩篇論文引用數(shù)超過5萬，另有多篇超過1萬,，文章的方向都指向AI的本質(zhì)性算法研究,。Szegedy是波恩大學應(yīng)用數(shù)學博士。

Igor Babuschkin和Toby Pohlen共同參與了DeepMind著名的AI項目AlphaStar,，AlphaStar從50萬局「星際爭霸 2」游戲中學習,，隨后自己玩了1.2億局來精進技術(shù)。最終,，它達到了最高的宗師段位,，水平超越了99.8%玩家。

Grok-1模型能力僅次于GPT-4,，在推理和數(shù)學能力上優(yōu)化

xAI在11月初發(fā)布了他們的第一個基礎(chǔ)大語言模型Grok-1（約330億參數(shù)）,，這個模型是在它們的原型大模型Grok-0的基礎(chǔ)上經(jīng)過微調(diào)和RLHF完成。他的訓(xùn)練數(shù)據(jù)截至2023年第三季度,，輸出上下文長度為8k,。

據(jù)稱，Grok-0只使用了一半的訓(xùn)練資源,，就達到了接近llama 2 70B的能力,，之后又在推理和編碼能力進行了針對性的優(yōu)化。

在xAI官方公布的測試中,，我們可以評估Grok-1的能力,。在這個評測中，主要包括：

1.GSM8k：中學數(shù)學文字問題,，使用思維鏈提示,。

2.MMLU：多學科選擇題，考驗綜合理解能力,。

3.HumanEval：Python代碼完成任務(wù),，考驗編碼能力,。

4.MATH：中學和高中數(shù)學問題，用LaTeX編寫,，考驗更高階的數(shù)學能力,。

從圖表中可以看出,，Grok-1在幾乎所有的測試中都領(lǐng)先llama 2 70B和GPT-3.5,，在HumanEval和Math這兩個測試中更是大幅領(lǐng)先llama 2 70B。但是它與Claude2和GPT-4仍然存在可見的差距,。

不過鑒于Grok-1的模型規(guī)模應(yīng)該只有33B,，而且訓(xùn)練資源上只花費了llama 2 70B的一半，我們可以說它在效率方面有突出表現(xiàn),。未來若推出參數(shù)規(guī)模更大的版本,，能力還有提升的空間。

由于以上的測試都比較主流,，為了摒除刻意優(yōu)化的因素,，xAI測試了Grok與主要競爭對手在2023年匈牙利國家高中數(shù)學期末考試上的實際表現(xiàn)，這更貼近真實場景,，為表公平,，xAI沒有為這次評估做特別的調(diào)整。

實驗結(jié)果顯示,，Grok以C級（59%）通過了考試，而Claude-2也獲得了相同的成績（55%）,，GPT-4則以B級（68%）通過。

除了大模型,，xAI還公布了PromptIDE,，這是一個集成的開發(fā)環(huán)境，專為提示工程和可解釋性研究而設(shè)計,。PromptIDE的目的是為了讓工程師和研究人員能夠透明地訪問Grok-1,。這個IDE旨在賦予用戶能力，幫助他們快速探索LLM的能力,。

在11月初剛發(fā)布大模型時,，Grok-1只對有限的用戶開放，在本周xAI計劃將Grok的能力向X Premium+訂閱者們開放,，xAI也為Grok提供了搜索工具和實時信息的訪問權(quán)限,，這一點相較于其他模型具有差異化優(yōu)勢。

它還提供專用的“趣味”模式,、多任務(wù)處理,、可分享的聊天和對話反饋,。趣味模式將是所有功能中最有趣的，因為它賦予Grok獨特的個性,，使其能夠以帶有諷刺和幽默的方式進行更吸引人的對話,。

大模型的競爭格局會變么？能力將往何處發(fā)展,？

在ChatGPT發(fā)布正好一年的這一天,，看起來OpenAI的模型能力和生態(tài)產(chǎn)品建設(shè)在各個大模型廠商中仍舊是明顯領(lǐng)先的。能夠與它競爭的公司Anthropic,，Inflection,，包括xAI都還處于追趕態(tài)勢。谷歌,，亞馬遜等大廠也仍然落后,。

基礎(chǔ)大模型廠商之間的競爭，是全方位的競爭,，而且鑒于AI模型預(yù)訓(xùn)練需要的高成本,，當未來模型版本迭代時，又需要持續(xù)投入巨大的算力和資金成本,。除此之外,，找到能夠充分釋放模型能力價值的場景也非常重要，不然無法形成反饋的循環(huán),。

目前來看,，xAI不缺人才，也不缺算力和資金,，此外因為X（推特）的存在,，它也不愁在前期找不到應(yīng)用場景。盡管Grok-1現(xiàn)在的絕對能力與GPT-4仍然有差距,，但是當后續(xù)它有更大規(guī)模參數(shù)的版本出現(xiàn)后,，將會大大縮小與OpenAI的距離。

大模型的競爭是大廠與超級獨角獸的競爭,，但是正因為有這些公司在競爭和迭代,，做應(yīng)用的公司和終端的用戶才會有越來越強，越來越便宜的AI能力使用,，最終所有行業(yè)都會被AI翻新一遍,。

在大模型進入公眾視野一年后，對于大模型的局限性我們有了更清楚的認知,，那就是推理能力和可靠性的不足,。而在發(fā)展方向上，肯定是多模態(tài)。

xAI為了應(yīng)對這些問題,，也做了定向研究,，對于推理能力不足，他們研究可擴展的工具輔助監(jiān)督學習,，讓AI和人類協(xié)同對AI模型進行調(diào)優(yōu),。

對于AI的可靠性不足，他們研究形式驗證,，對抗性魯棒性等技術(shù),，增強AI的可靠性。此外,，盡管目前Grok因為參數(shù)量的原因在多模態(tài)能力上不如GPT-4等模型,，但是xAI也在積極研究這個方向，未來會有具備視覺和音頻能力的模型,。