原文來(lái)源：阿爾法公社

圖片來(lái)源：由無(wú)界 AI生成

在ChatGPT發(fā)布一年之后,，生成式AI已經(jīng)成為一個(gè)具有確定性的技術(shù)浪潮,，而伊隆·馬斯克旗下的xAI公司計(jì)劃在本周將它11月初發(fā)布的大模型Grok接入X平臺(tái)（推特），對(duì)X Premium+訂閱者們開放,。

xAI在今年7月成立,，之后迅速訓(xùn)練出Grok-0這個(gè)基礎(chǔ)模型，然后又經(jīng)過(guò)調(diào)優(yōu)進(jìn)化成Grok-1,。這個(gè)模型雖然參數(shù)只有大約330億,，但是能力已經(jīng)超過(guò)llama2 70B和GPT-3.5，尤其在數(shù)學(xué)和編碼方面表現(xiàn)突出。研究團(tuán)隊(duì)也在大模型的推理能力和可靠性方面開展研究,。

馬斯克組建了一個(gè)豪華的核心技術(shù)團(tuán)隊(duì),，團(tuán)隊(duì)成員們來(lái)自DeepMind、OpenAI,、谷歌研究院,、微軟研究院、特斯拉和多倫多大學(xué),，主導(dǎo)過(guò)多個(gè)AI基礎(chǔ)算法研究和知名AI項(xiàng)目,，華人比例奇高，其中還有兩位研究人員的論文引用數(shù)超過(guò)20萬(wàn),。

Grok將通過(guò)獨(dú)家訪問(wèn)X（原推特）及其實(shí)時(shí)的用戶生成的帖子和信息來(lái)實(shí)現(xiàn)差異化,，它能訪問(wèn)在X上發(fā)布的最新數(shù)據(jù)，并在用戶詢問(wèn)實(shí)時(shí)問(wèn)題時(shí)提供最新信息,。

如果您對(duì)人工智能的新浪潮有興趣,，有見(jiàn)解,，有創(chuàng)業(yè)意愿，歡迎掃碼添加“阿爾法小助理”,，備注您的“姓名+職位”,，與我們深度連接。

打造“追求真理的”的AI,，馬斯克組建了豪華核心團(tuán)隊(duì)

作為xAI的創(chuàng)始人,，馬斯克對(duì)AI有深刻的積累和認(rèn)知。一方面,，早在2013年,，他就開啟了特斯拉在自動(dòng)駕駛方面的探索，目前特斯拉的自動(dòng)駕駛硬件迭代到第四代，F(xiàn)SD算法迭代到V12版本,，并將在近期更新,。

另一方面，馬斯克是OpenAI的聯(lián)合創(chuàng)始人之一,，當(dāng)OpenAI還是非盈利研究組織時(shí),，他為OpenAI注入了5000萬(wàn)-1億美元資金，支持它的早期發(fā)展,。而OpenAI的聯(lián)合創(chuàng)始人之一Andrej Karpathy在2017年6月-2022年7月?lián)翁厮估腁I總監(jiān),，主導(dǎo)著特斯拉的自動(dòng)駕駛項(xiàng)目。

2018年,，馬斯克離開了OpenAI,，根據(jù)OpenAI的博客文章和馬斯克后來(lái)的推文，理由是防止隨著特斯拉更加專注于人工智能而與OpenAI產(chǎn)生利益沖突,；根據(jù)Semafor報(bào)道,，馬斯克曾提議他接管OpenAI的領(lǐng)導(dǎo)，并在提議被拒絕后離開,；而《金融時(shí)報(bào)》報(bào)道稱,，馬斯克的離開也是由于與其他董事會(huì)成員和員工在OpenAI的人工智能安全方法上的沖突。

在離開OpenAI多年,，且ChatGPT引發(fā)了AI熱潮后,，馬斯克于今年7月宣布成立xAI，這家公司的目標(biāo)是構(gòu)建能“理解宇宙真正本質(zhì)”的人工智能,。

馬斯克在接受采訪時(shí)表示：“從人工智能安全的角度來(lái)看，一個(gè)極度好奇的人工智能,，一個(gè)試圖理解宇宙的人工智能,，將會(huì)支持人類?！?/p>

豪華的核心技術(shù)團(tuán)隊(duì)

馬斯克搭建了一個(gè)豪華的核心技術(shù)團(tuán)隊(duì),，他們來(lái)自DeepMind、OpenAI,、谷歌研究院,、微軟研究院、特斯拉和多倫多大學(xué),。

他們?cè)谶^(guò)去主導(dǎo)過(guò)不少AI研究和技術(shù)的突破,，例如Adam優(yōu)化器，對(duì)抗性示例,，Transformer-XL,，Memorizing Transformer，自動(dòng)形式化等。此外,，還包括AlphaStar,、AlphaCode、Inception,、Minerva,、GPT-3.5和GPT-4等工程和產(chǎn)品方面的重要成果。

這個(gè)團(tuán)隊(duì)除了來(lái)自大廠和研究院外,，還有一個(gè)特點(diǎn)是大多數(shù)擁有扎實(shí)的數(shù)學(xué),、物理背景。

例如xAI聯(lián)合創(chuàng)始人楊格（Greg Yang ）在哈佛取得數(shù)學(xué)學(xué)士與計(jì)算機(jī)碩士學(xué)位,，師從丘成桐。丘成桐帶著楊格出席活動(dòng),、認(rèn)識(shí)各個(gè)方向的博士生,、數(shù)學(xué)家，還推薦他申請(qǐng)數(shù)學(xué)界本科生能取得的最高榮譽(yù)：摩根獎(jiǎng),。

楊格透露，xAI將深入研究人工智能的一個(gè)方面—“深度學(xué)習(xí)的數(shù)學(xué)”,，并“為大型神經(jīng)網(wǎng)絡(luò)發(fā)展‘萬(wàn)物理論’”,，以將人工智能“提升到下一個(gè)層次”。

除了作為聯(lián)合創(chuàng)始人的楊格外,，在核心團(tuán)隊(duì)中還有張國(guó)棟 （Guodong Zhang）,，戴自航 （Zihang Dai），吳宇懷（Yuhuai Tony Wu）,，以及之后加入的Jimmy Ba,、xiao sun、Ting Chen等華人成員,，他們都在底層技術(shù)上有建樹,。

戴自航（Zihang Dai）是CMU和Google Brain于2019年發(fā)布預(yù)訓(xùn)練語(yǔ)言模型XLNet論文的共同一作，這個(gè)模型在20項(xiàng)任務(wù)上超越了當(dāng)時(shí)的SOTA模型BERT,。

戴自航2009年入讀清華經(jīng)管學(xué)院的信息管理與信息系統(tǒng)專業(yè)，此后前往 CMU開啟六年的計(jì)算機(jī)碩博生涯,，師從Yiming Yang,。在博士期間深度參與圖靈獎(jiǎng)得主Yoshua Bengio創(chuàng)立的Mila實(shí)驗(yàn)室，Google Brain團(tuán)隊(duì),，并在博士畢業(yè)后正式加入Google Brain,，擔(dān)任研究科學(xué)家,，主要方向?yàn)樽匀徽Z(yǔ)言處理、模型預(yù)訓(xùn)練,。

張國(guó)棟（ Guodong Zhang）本科就讀于浙江大學(xué),，他在輔修的竺可楨學(xué)院工程教育高級(jí)班中連續(xù)三年排名專業(yè)第一；此后,，他前往多倫多大學(xué)攻讀機(jī)器學(xué)習(xí)博士學(xué)位,。

讀博期間,，他在Geoffrey Hinton的指導(dǎo)下,，作為谷歌大腦團(tuán)隊(duì)的實(shí)習(xí)生從事大規(guī)模優(yōu)化與快速權(quán)重線性注意力研究（Large-scale optimization and fast-weights linear attention），而他也在多智能體優(yōu)化與應(yīng)用,、深度學(xué)習(xí),、貝葉斯深度學(xué)習(xí)等領(lǐng)域發(fā)表頂會(huì)論文。

博士畢業(yè)后,，張國(guó)棟全職加入DeepMind,，成為Gemini計(jì)劃（直接對(duì)標(biāo)GPT-4）的核心成員，負(fù)責(zé)訓(xùn)練與微調(diào)大型語(yǔ)言模型,。

吳宇懷 Yuhuai (Tony) Wu的高中和大學(xué)時(shí)光均在北美度過(guò),，他本科在紐布倫斯威克大學(xué)讀數(shù)學(xué)，并在多倫多大學(xué)獲得機(jī)器學(xué)習(xí)學(xué)位,，師從Roger Grosse和Jimmy Ba（也是xAI核心團(tuán)隊(duì)成員）,。

在求學(xué)期間,，吳宇懷在Mila,，OpenAI，DeepMind和Google做過(guò)研究員,。而在他的一項(xiàng)研究中,，他和其他研究人員訓(xùn)練了一個(gè)增強(qiáng)大語(yǔ)言模型Minerva，這個(gè)模型數(shù)學(xué)能力很強(qiáng),，在波蘭的2022年國(guó)家數(shù)學(xué)考試中，答對(duì)了65%的問(wèn)題,。這與xAI深入研究“深度學(xué)習(xí)的數(shù)學(xué)”的目標(biāo)非常匹配,。

Jimmy Ba曾擔(dān)任多倫多大學(xué)的助理教授（AP），他的本碩博也都在多倫多大學(xué)完成,，博士時(shí)的導(dǎo)師是Geoffrey Hinton,。

他還是加拿大先進(jìn)研究院人工智能主席,，長(zhǎng)期目標(biāo)是如何構(gòu)建具有類人效率和適應(yīng)性的通用問(wèn)題解決機(jī)器,。Jimmy Ba在谷歌學(xué)術(shù)的引用數(shù)達(dá)到200844,，而光是與Adam優(yōu)化器有關(guān)的論文就超過(guò)16萬(wàn)，2015年與注意力相關(guān)的論文引用也超過(guò)1.1萬(wàn),。他事實(shí)上也是現(xiàn)在大模型技術(shù)的理論奠基人之一,。

xiao sun在北京大學(xué)獲得學(xué)士學(xué)位，在耶魯大學(xué)獲得EE的博士學(xué)位,，此后在IBM Watson和Meta擔(dān)任研究科學(xué)家,。他的技術(shù)背景不在于AI模型，而在于AI相關(guān)的硬件和半導(dǎo)體,，尤其是AI的軟硬件協(xié)同,。他曾獲得MIT TR35（35歲以下創(chuàng)新35人）獎(jiǎng)項(xiàng)。

Ting Chen在北京郵電大學(xué)獲得學(xué)士學(xué)位,，在美國(guó)東北大學(xué)和UCLA分別獲得一個(gè)博士學(xué)位,。之后他在谷歌Brain擔(dān)任研究科學(xué)家，他的谷歌學(xué)術(shù)總引用數(shù)達(dá)到22363,。他引用數(shù)最高的論文提出SimCLR,，一個(gè)簡(jiǎn)單的視覺(jué)表示對(duì)比學(xué)習(xí)框架。這篇論文是與Geoffrey Hinton合作的,，引用數(shù)達(dá)到了14579,。

除了Jimmy Ba外，創(chuàng)始團(tuán)隊(duì)中還有另一位谷歌學(xué)術(shù)論文應(yīng)用數(shù)超過(guò)20萬(wàn)的資深研究者,，他是Christian Szegedy,。Szegedy是吳宇懷在谷歌時(shí)的團(tuán)隊(duì)負(fù)責(zé)人，在谷歌工作了13年,，有兩篇論文引用數(shù)超過(guò)5萬(wàn),，另有多篇超過(guò)1萬(wàn)，文章的方向都指向AI的本質(zhì)性算法研究,。Szegedy是波恩大學(xué)應(yīng)用數(shù)學(xué)博士,。

Igor Babuschkin和Toby Pohlen共同參與了DeepMind著名的AI項(xiàng)目AlphaStar，AlphaStar從50萬(wàn)局「星際爭(zhēng)霸 2」游戲中學(xué)習(xí),，隨后自己玩了1.2億局來(lái)精進(jìn)技術(shù),。最終，它達(dá)到了最高的宗師段位,，水平超越了99.8%玩家,。

Grok-1模型能力僅次于GPT-4，在推理和數(shù)學(xué)能力上優(yōu)化

xAI在11月初發(fā)布了他們的第一個(gè)基礎(chǔ)大語(yǔ)言模型Grok-1（約330億參數(shù)）,，這個(gè)模型是在它們的原型大模型Grok-0的基礎(chǔ)上經(jīng)過(guò)微調(diào)和RLHF完成,。他的訓(xùn)練數(shù)據(jù)截至2023年第三季度，輸出上下文長(zhǎng)度為8k,。

據(jù)稱,，Grok-0只使用了一半的訓(xùn)練資源,，就達(dá)到了接近llama 2 70B的能力，之后又在推理和編碼能力進(jìn)行了針對(duì)性的優(yōu)化,。

在xAI官方公布的測(cè)試中,，我們可以評(píng)估Grok-1的能力。在這個(gè)評(píng)測(cè)中,，主要包括：

1.GSM8k：中學(xué)數(shù)學(xué)文字問(wèn)題,，使用思維鏈提示。

2.MMLU：多學(xué)科選擇題,，考驗(yàn)綜合理解能力,。

3.HumanEval：Python代碼完成任務(wù)，考驗(yàn)編碼能力,。

4.MATH：中學(xué)和高中數(shù)學(xué)問(wèn)題,，用LaTeX編寫，考驗(yàn)更高階的數(shù)學(xué)能力,。

從圖表中可以看出，Grok-1在幾乎所有的測(cè)試中都領(lǐng)先llama 2 70B和GPT-3.5,，在HumanEval和Math這兩個(gè)測(cè)試中更是大幅領(lǐng)先llama 2 70B,。但是它與Claude2和GPT-4仍然存在可見(jiàn)的差距。

不過(guò)鑒于Grok-1的模型規(guī)模應(yīng)該只有33B,，而且訓(xùn)練資源上只花費(fèi)了llama 2 70B的一半,，我們可以說(shuō)它在效率方面有突出表現(xiàn)。未來(lái)若推出參數(shù)規(guī)模更大的版本,，能力還有提升的空間,。

由于以上的測(cè)試都比較主流，為了摒除刻意優(yōu)化的因素,，xAI測(cè)試了Grok與主要競(jìng)爭(zhēng)對(duì)手在2023年匈牙利國(guó)家高中數(shù)學(xué)期末考試上的實(shí)際表現(xiàn),，這更貼近真實(shí)場(chǎng)景，為表公平,，xAI沒(méi)有為這次評(píng)估做特別的調(diào)整,。

實(shí)驗(yàn)結(jié)果顯示,，Grok以C級(jí)（59%）通過(guò)了考試,，而Claude-2也獲得了相同的成績(jī)（55%），GPT-4則以B級(jí)（68%）通過(guò),。

除了大模型，xAI還公布了PromptIDE,，這是一個(gè)集成的開發(fā)環(huán)境,，專為提示工程和可解釋性研究而設(shè)計(jì),。PromptIDE的目的是為了讓工程師和研究人員能夠透明地訪問(wèn)Grok-1。這個(gè)IDE旨在賦予用戶能力,，幫助他們快速探索LLM的能力,。

在11月初剛發(fā)布大模型時(shí)，Grok-1只對(duì)有限的用戶開放,，在本周xAI計(jì)劃將Grok的能力向X Premium+訂閱者們開放,，xAI也為Grok提供了搜索工具和實(shí)時(shí)信息的訪問(wèn)權(quán)限，這一點(diǎn)相較于其他模型具有差異化優(yōu)勢(shì),。

它還提供專用的“趣味”模式,、多任務(wù)處理、可分享的聊天和對(duì)話反饋,。趣味模式將是所有功能中最有趣的,，因?yàn)樗x予Grok獨(dú)特的個(gè)性，使其能夠以帶有諷刺和幽默的方式進(jìn)行更吸引人的對(duì)話,。

大模型的競(jìng)爭(zhēng)格局會(huì)變么,？能力將往何處發(fā)展？

在ChatGPT發(fā)布正好一年的這一天,，看起來(lái)OpenAI的模型能力和生態(tài)產(chǎn)品建設(shè)在各個(gè)大模型廠商中仍舊是明顯領(lǐng)先的,。能夠與它競(jìng)爭(zhēng)的公司Anthropic，Inflection,，包括xAI都還處于追趕態(tài)勢(shì),。谷歌，亞馬遜等大廠也仍然落后,。

基礎(chǔ)大模型廠商之間的競(jìng)爭(zhēng),，是全方位的競(jìng)爭(zhēng)，而且鑒于AI模型預(yù)訓(xùn)練需要的高成本,，當(dāng)未來(lái)模型版本迭代時(shí),，又需要持續(xù)投入巨大的算力和資金成本。除此之外,，找到能夠充分釋放模型能力價(jià)值的場(chǎng)景也非常重要,，不然無(wú)法形成反饋的循環(huán)。

目前來(lái)看,，xAI不缺人才,，也不缺算力和資金，此外因?yàn)閄（推特）的存在,，它也不愁在前期找不到應(yīng)用場(chǎng)景,。盡管Grok-1現(xiàn)在的絕對(duì)能力與GPT-4仍然有差距，但是當(dāng)后續(xù)它有更大規(guī)模參數(shù)的版本出現(xiàn)后,，將會(huì)大大縮小與OpenAI的距離,。

大模型的競(jìng)爭(zhēng)是大廠與超級(jí)獨(dú)角獸的競(jìng)爭(zhēng),，但是正因?yàn)橛羞@些公司在競(jìng)爭(zhēng)和迭代，做應(yīng)用的公司和終端的用戶才會(huì)有越來(lái)越強(qiáng),，越來(lái)越便宜的AI能力使用,，最終所有行業(yè)都會(huì)被AI翻新一遍。

在大模型進(jìn)入公眾視野一年后,，對(duì)于大模型的局限性我們有了更清楚的認(rèn)知,，那就是推理能力和可靠性的不足。而在發(fā)展方向上,，肯定是多模態(tài),。

xAI為了應(yīng)對(duì)這些問(wèn)題，也做了定向研究,，對(duì)于推理能力不足,，他們研究可擴(kuò)展的工具輔助監(jiān)督學(xué)習(xí)，讓AI和人類協(xié)同對(duì)AI模型進(jìn)行調(diào)優(yōu),。

對(duì)于AI的可靠性不足,，他們研究形式驗(yàn)證，對(duì)抗性魯棒性等技術(shù),，增強(qiáng)AI的可靠性,。此外，盡管目前Grok因?yàn)閰?shù)量的原因在多模態(tài)能力上不如GPT-4等模型,，但是xAI也在積極研究這個(gè)方向,，未來(lái)會(huì)有具備視覺(jué)和音頻能力的模型。