原文來源：阿爾法公社

圖片來源：由無界 AI生成

在ChatGPT發(fā)布一年之后,，生成式AI已經(jīng)成為一個(gè)具有確定性的技術(shù)浪潮,，而伊隆·馬斯克旗下的xAI公司計(jì)劃在本周將它11月初發(fā)布的大模型Grok接入X平臺(tái)（推特）,，對(duì)X Premium+訂閱者們開放,。

xAI在今年7月成立，之后迅速訓(xùn)練出Grok-0這個(gè)基礎(chǔ)模型,，然后又經(jīng)過調(diào)優(yōu)進(jìn)化成Grok-1。這個(gè)模型雖然參數(shù)只有大約330億,，但是能力已經(jīng)超過llama2 70B和GPT-3.5,，尤其在數(shù)學(xué)和編碼方面表現(xiàn)突出。研究團(tuán)隊(duì)也在大模型的推理能力和可靠性方面開展研究。

馬斯克組建了一個(gè)豪華的核心技術(shù)團(tuán)隊(duì),，團(tuán)隊(duì)成員們來自DeepMind,、OpenAI、谷歌研究院,、微軟研究院,、特斯拉和多倫多大學(xué)，主導(dǎo)過多個(gè)AI基礎(chǔ)算法研究和知名AI項(xiàng)目,，華人比例奇高，其中還有兩位研究人員的論文引用數(shù)超過20萬,。

Grok將通過獨(dú)家訪問X（原推特）及其實(shí)時(shí)的用戶生成的帖子和信息來實(shí)現(xiàn)差異化,，它能訪問在X上發(fā)布的最新數(shù)據(jù)，并在用戶詢問實(shí)時(shí)問題時(shí)提供最新信息,。

如果您對(duì)人工智能的新浪潮有興趣,，有見解,，有創(chuàng)業(yè)意愿，歡迎掃碼添加“阿爾法小助理”,，備注您的“姓名+職位”,，與我們深度連接。

打造“追求真理的”的AI,，馬斯克組建了豪華核心團(tuán)隊(duì)

作為xAI的創(chuàng)始人,，馬斯克對(duì)AI有深刻的積累和認(rèn)知。一方面,，早在2013年,，他就開啟了特斯拉在自動(dòng)駕駛方面的探索，目前特斯拉的自動(dòng)駕駛硬件迭代到第四代，F(xiàn)SD算法迭代到V12版本,，并將在近期更新,。

另一方面，馬斯克是OpenAI的聯(lián)合創(chuàng)始人之一,，當(dāng)OpenAI還是非盈利研究組織時(shí),，他為OpenAI注入了5000萬-1億美元資金，支持它的早期發(fā)展,。而OpenAI的聯(lián)合創(chuàng)始人之一Andrej Karpathy在2017年6月-2022年7月?lián)翁厮估腁I總監(jiān),，主導(dǎo)著特斯拉的自動(dòng)駕駛項(xiàng)目。

2018年,，馬斯克離開了OpenAI,，根據(jù)OpenAI的博客文章和馬斯克后來的推文，理由是防止隨著特斯拉更加專注于人工智能而與OpenAI產(chǎn)生利益沖突,；根據(jù)Semafor報(bào)道,，馬斯克曾提議他接管OpenAI的領(lǐng)導(dǎo)，并在提議被拒絕后離開,；而《金融時(shí)報(bào)》報(bào)道稱,，馬斯克的離開也是由于與其他董事會(huì)成員和員工在OpenAI的人工智能安全方法上的沖突。

在離開OpenAI多年,，且ChatGPT引發(fā)了AI熱潮后,，馬斯克于今年7月宣布成立xAI，這家公司的目標(biāo)是構(gòu)建能“理解宇宙真正本質(zhì)”的人工智能,。

馬斯克在接受采訪時(shí)表示：“從人工智能安全的角度來看，一個(gè)極度好奇的人工智能,，一個(gè)試圖理解宇宙的人工智能,，將會(huì)支持人類,?！?/p>

豪華的核心技術(shù)團(tuán)隊(duì)

馬斯克搭建了一個(gè)豪華的核心技術(shù)團(tuán)隊(duì)，他們來自DeepMind,、OpenAI,、谷歌研究院,、微軟研究院、特斯拉和多倫多大學(xué),。

他們?cè)谶^去主導(dǎo)過不少AI研究和技術(shù)的突破，例如Adam優(yōu)化器,，對(duì)抗性示例,，Transformer-XL,，Memorizing Transformer，自動(dòng)形式化等,。此外,，還包括AlphaStar、AlphaCode,、Inception、Minerva,、GPT-3.5和GPT-4等工程和產(chǎn)品方面的重要成果,。

這個(gè)團(tuán)隊(duì)除了來自大廠和研究院外,，還有一個(gè)特點(diǎn)是大多數(shù)擁有扎實(shí)的數(shù)學(xué),、物理背景。

例如xAI聯(lián)合創(chuàng)始人楊格（Greg Yang ）在哈佛取得數(shù)學(xué)學(xué)士與計(jì)算機(jī)碩士學(xué)位,，師從丘成桐。丘成桐帶著楊格出席活動(dòng),、認(rèn)識(shí)各個(gè)方向的博士生,、數(shù)學(xué)家，還推薦他申請(qǐng)數(shù)學(xué)界本科生能取得的最高榮譽(yù)：摩根獎(jiǎng),。

楊格透露，xAI將深入研究人工智能的一個(gè)方面—“深度學(xué)習(xí)的數(shù)學(xué)”,，并“為大型神經(jīng)網(wǎng)絡(luò)發(fā)展‘萬物理論’”,，以將人工智能“提升到下一個(gè)層次”。

除了作為聯(lián)合創(chuàng)始人的楊格外,，在核心團(tuán)隊(duì)中還有張國棟 （Guodong Zhang）,，戴自航 （Zihang Dai），吳宇懷（Yuhuai Tony Wu）,，以及之后加入的Jimmy Ba,、xiao sun、Ting Chen等華人成員，他們都在底層技術(shù)上有建樹,。

戴自航（Zihang Dai）是CMU和Google Brain于2019年發(fā)布預(yù)訓(xùn)練語言模型XLNet論文的共同一作,，這個(gè)模型在20項(xiàng)任務(wù)上超越了當(dāng)時(shí)的SOTA模型BERT。

戴自航2009年入讀清華經(jīng)管學(xué)院的信息管理與信息系統(tǒng)專業(yè),，此后前往 CMU開啟六年的計(jì)算機(jī)碩博生涯，師從Yiming Yang,。在博士期間深度參與圖靈獎(jiǎng)得主Yoshua Bengio創(chuàng)立的Mila實(shí)驗(yàn)室,，Google Brain團(tuán)隊(duì)，并在博士畢業(yè)后正式加入Google Brain,，擔(dān)任研究科學(xué)家,，主要方向?yàn)樽匀徽Z言處理、模型預(yù)訓(xùn)練,。

張國棟（ Guodong Zhang）本科就讀于浙江大學(xué),，他在輔修的竺可楨學(xué)院工程教育高級(jí)班中連續(xù)三年排名專業(yè)第一；此后,，他前往多倫多大學(xué)攻讀機(jī)器學(xué)習(xí)博士學(xué)位,。

讀博期間,，他在Geoffrey Hinton的指導(dǎo)下,，作為谷歌大腦團(tuán)隊(duì)的實(shí)習(xí)生從事大規(guī)模優(yōu)化與快速權(quán)重線性注意力研究（Large-scale optimization and fast-weights linear attention），而他也在多智能體優(yōu)化與應(yīng)用,、深度學(xué)習(xí),、貝葉斯深度學(xué)習(xí)等領(lǐng)域發(fā)表頂會(huì)論文。

博士畢業(yè)后,，張國棟全職加入DeepMind,，成為Gemini計(jì)劃（直接對(duì)標(biāo)GPT-4）的核心成員，負(fù)責(zé)訓(xùn)練與微調(diào)大型語言模型,。

吳宇懷 Yuhuai (Tony) Wu的高中和大學(xué)時(shí)光均在北美度過,，他本科在紐布倫斯威克大學(xué)讀數(shù)學(xué)，并在多倫多大學(xué)獲得機(jī)器學(xué)習(xí)學(xué)位,，師從Roger Grosse和Jimmy Ba（也是xAI核心團(tuán)隊(duì)成員）,。

在求學(xué)期間,，吳宇懷在Mila,，OpenAI，DeepMind和Google做過研究員,。而在他的一項(xiàng)研究中,，他和其他研究人員訓(xùn)練了一個(gè)增強(qiáng)大語言模型Minerva,，這個(gè)模型數(shù)學(xué)能力很強(qiáng)，在波蘭的2022年國家數(shù)學(xué)考試中,，答對(duì)了65%的問題,。這與xAI深入研究“深度學(xué)習(xí)的數(shù)學(xué)”的目標(biāo)非常匹配。

Jimmy Ba曾擔(dān)任多倫多大學(xué)的助理教授（AP）,，他的本碩博也都在多倫多大學(xué)完成,，博士時(shí)的導(dǎo)師是Geoffrey Hinton。

他還是加拿大先進(jìn)研究院人工智能主席,，長(zhǎng)期目標(biāo)是如何構(gòu)建具有類人效率和適應(yīng)性的通用問題解決機(jī)器。Jimmy Ba在谷歌學(xué)術(shù)的引用數(shù)達(dá)到200844,，而光是與Adam優(yōu)化器有關(guān)的論文就超過16萬,，2015年與注意力相關(guān)的論文引用也超過1.1萬。他事實(shí)上也是現(xiàn)在大模型技術(shù)的理論奠基人之一,。

xiao sun在北京大學(xué)獲得學(xué)士學(xué)位,，在耶魯大學(xué)獲得EE的博士學(xué)位，此后在IBM Watson和Meta擔(dān)任研究科學(xué)家,。他的技術(shù)背景不在于AI模型,，而在于AI相關(guān)的硬件和半導(dǎo)體，尤其是AI的軟硬件協(xié)同,。他曾獲得MIT TR35（35歲以下創(chuàng)新35人）獎(jiǎng)項(xiàng),。

Ting Chen在北京郵電大學(xué)獲得學(xué)士學(xué)位,，在美國東北大學(xué)和UCLA分別獲得一個(gè)博士學(xué)位,。之后他在谷歌Brain擔(dān)任研究科學(xué)家，他的谷歌學(xué)術(shù)總引用數(shù)達(dá)到22363,。他引用數(shù)最高的論文提出SimCLR,，一個(gè)簡(jiǎn)單的視覺表示對(duì)比學(xué)習(xí)框架。這篇論文是與Geoffrey Hinton合作的,，引用數(shù)達(dá)到了14579,。

除了Jimmy Ba外，創(chuàng)始團(tuán)隊(duì)中還有另一位谷歌學(xué)術(shù)論文應(yīng)用數(shù)超過20萬的資深研究者,，他是Christian Szegedy,。Szegedy是吳宇懷在谷歌時(shí)的團(tuán)隊(duì)負(fù)責(zé)人，在谷歌工作了13年,，有兩篇論文引用數(shù)超過5萬,，另有多篇超過1萬，文章的方向都指向AI的本質(zhì)性算法研究,。Szegedy是波恩大學(xué)應(yīng)用數(shù)學(xué)博士,。

Igor Babuschkin和Toby Pohlen共同參與了DeepMind著名的AI項(xiàng)目AlphaStar,，AlphaStar從50萬局「星際爭(zhēng)霸 2」游戲中學(xué)習(xí)，隨后自己玩了1.2億局來精進(jìn)技術(shù),。最終,，它達(dá)到了最高的宗師段位，水平超越了99.8%玩家,。

Grok-1模型能力僅次于GPT-4,，在推理和數(shù)學(xué)能力上優(yōu)化

xAI在11月初發(fā)布了他們的第一個(gè)基礎(chǔ)大語言模型Grok-1（約330億參數(shù)），這個(gè)模型是在它們的原型大模型Grok-0的基礎(chǔ)上經(jīng)過微調(diào)和RLHF完成,。他的訓(xùn)練數(shù)據(jù)截至2023年第三季度,，輸出上下文長(zhǎng)度為8k。

據(jù)稱,，Grok-0只使用了一半的訓(xùn)練資源,，就達(dá)到了接近llama 2 70B的能力，之后又在推理和編碼能力進(jìn)行了針對(duì)性的優(yōu)化,。

在xAI官方公布的測(cè)試中,，我們可以評(píng)估Grok-1的能力。在這個(gè)評(píng)測(cè)中,，主要包括：

1.GSM8k：中學(xué)數(shù)學(xué)文字問題,，使用思維鏈提示。

2.MMLU：多學(xué)科選擇題,，考驗(yàn)綜合理解能力,。

3.HumanEval：Python代碼完成任務(wù)，考驗(yàn)編碼能力,。

4.MATH：中學(xué)和高中數(shù)學(xué)問題,，用LaTeX編寫，考驗(yàn)更高階的數(shù)學(xué)能力,。

從圖表中可以看出，Grok-1在幾乎所有的測(cè)試中都領(lǐng)先llama 2 70B和GPT-3.5,，在HumanEval和Math這兩個(gè)測(cè)試中更是大幅領(lǐng)先llama 2 70B,。但是它與Claude2和GPT-4仍然存在可見的差距。

不過鑒于Grok-1的模型規(guī)模應(yīng)該只有33B,，而且訓(xùn)練資源上只花費(fèi)了llama 2 70B的一半,，我們可以說它在效率方面有突出表現(xiàn)。未來若推出參數(shù)規(guī)模更大的版本,，能力還有提升的空間,。

由于以上的測(cè)試都比較主流，為了摒除刻意優(yōu)化的因素,，xAI測(cè)試了Grok與主要競(jìng)爭(zhēng)對(duì)手在2023年匈牙利國家高中數(shù)學(xué)期末考試上的實(shí)際表現(xiàn),，這更貼近真實(shí)場(chǎng)景,，為表公平，xAI沒有為這次評(píng)估做特別的調(diào)整,。

實(shí)驗(yàn)結(jié)果顯示，Grok以C級(jí)（59%）通過了考試,，而Claude-2也獲得了相同的成績(jī)（55%）,，GPT-4則以B級(jí)（68%）通過。

除了大模型,，xAI還公布了PromptIDE,，這是一個(gè)集成的開發(fā)環(huán)境，專為提示工程和可解釋性研究而設(shè)計(jì),。PromptIDE的目的是為了讓工程師和研究人員能夠透明地訪問Grok-1,。這個(gè)IDE旨在賦予用戶能力,，幫助他們快速探索LLM的能力。

在11月初剛發(fā)布大模型時(shí)，Grok-1只對(duì)有限的用戶開放,，在本周xAI計(jì)劃將Grok的能力向X Premium+訂閱者們開放,，xAI也為Grok提供了搜索工具和實(shí)時(shí)信息的訪問權(quán)限,，這一點(diǎn)相較于其他模型具有差異化優(yōu)勢(shì),。

它還提供專用的“趣味”模式,、多任務(wù)處理,、可分享的聊天和對(duì)話反饋,。趣味模式將是所有功能中最有趣的,，因?yàn)樗x予Grok獨(dú)特的個(gè)性,，使其能夠以帶有諷刺和幽默的方式進(jìn)行更吸引人的對(duì)話。

大模型的競(jìng)爭(zhēng)格局會(huì)變么,？能力將往何處發(fā)展,？

在ChatGPT發(fā)布正好一年的這一天,，看起來OpenAI的模型能力和生態(tài)產(chǎn)品建設(shè)在各個(gè)大模型廠商中仍舊是明顯領(lǐng)先的,。能夠與它競(jìng)爭(zhēng)的公司Anthropic，Inflection,，包括xAI都還處于追趕態(tài)勢(shì),。谷歌，亞馬遜等大廠也仍然落后,。

基礎(chǔ)大模型廠商之間的競(jìng)爭(zhēng),，是全方位的競(jìng)爭(zhēng)，而且鑒于AI模型預(yù)訓(xùn)練需要的高成本，當(dāng)未來模型版本迭代時(shí),，又需要持續(xù)投入巨大的算力和資金成本,。除此之外,，找到能夠充分釋放模型能力價(jià)值的場(chǎng)景也非常重要,，不然無法形成反饋的循環(huán),。

目前來看,，xAI不缺人才,，也不缺算力和資金,，此外因?yàn)閄（推特）的存在,，它也不愁在前期找不到應(yīng)用場(chǎng)景。盡管Grok-1現(xiàn)在的絕對(duì)能力與GPT-4仍然有差距，但是當(dāng)后續(xù)它有更大規(guī)模參數(shù)的版本出現(xiàn)后,，將會(huì)大大縮小與OpenAI的距離,。

大模型的競(jìng)爭(zhēng)是大廠與超級(jí)獨(dú)角獸的競(jìng)爭(zhēng),，但是正因?yàn)橛羞@些公司在競(jìng)爭(zhēng)和迭代，做應(yīng)用的公司和終端的用戶才會(huì)有越來越強(qiáng)，越來越便宜的AI能力使用,，最終所有行業(yè)都會(huì)被AI翻新一遍。

在大模型進(jìn)入公眾視野一年后，對(duì)于大模型的局限性我們有了更清楚的認(rèn)知,，那就是推理能力和可靠性的不足,。而在發(fā)展方向上，肯定是多模態(tài)。

xAI為了應(yīng)對(duì)這些問題，也做了定向研究,，對(duì)于推理能力不足,，他們研究可擴(kuò)展的工具輔助監(jiān)督學(xué)習(xí)，讓AI和人類協(xié)同對(duì)AI模型進(jìn)行調(diào)優(yōu)。

對(duì)于AI的可靠性不足，他們研究形式驗(yàn)證,，對(duì)抗性魯棒性等技術(shù)，增強(qiáng)AI的可靠性,。此外，盡管目前Grok因?yàn)閰?shù)量的原因在多模態(tài)能力上不如GPT-4等模型,，但是xAI也在積極研究這個(gè)方向,，未來會(huì)有具備視覺和音頻能力的模型,。