原文來源：硬 AI?

作者?| 趙 穎?

圖片來源：由無界 AI生成

AI模型軍備競賽風(fēng)起云涌，各家大模型打得火熱的同時(shí),，小模型競爭開辟出新戰(zhàn)場,。

本周多家公司在“小模型”方面開疆拓土，試圖證明其模型可以事半功倍,。周一,，法國初創(chuàng)公司MistralAI公布的開源模型Mixtral 8x7B引起轟動，該模型不僅性能比肩GPT-3.5,，另一大優(yōu)勢是規(guī)模小到足以在一臺電腦上運(yùn)行,。

周二，微軟亮出了小模型大招,，發(fā)布27億參數(shù)規(guī)模的小語言模型Phi-2,，在部分基準(zhǔn)測試中超過谷歌的Gemini Nano 2，可以在筆記本電腦,、手機(jī)等移動設(shè)備上運(yùn)行。

毫無疑問,，規(guī)模較小的模型可以降低了大規(guī)模運(yùn)行人工智能應(yīng)用的成本,，同時(shí)極大地拓寬了生成式AI技術(shù)的應(yīng)用范圍,。

此外，事關(guān)模型能力強(qiáng)大與否的關(guān)鍵——強(qiáng)化學(xué)習(xí)（RL）技術(shù)最新的優(yōu)化進(jìn)展也引起業(yè)界的關(guān)注,。

01“小模型開辟新戰(zhàn)場”

MistralAI的小模型Mixtral 8x7B為開源模型,，其規(guī)模參數(shù)相對較小,，而能力卻能達(dá)到GPT-3.5的水平，迅速引起了業(yè)內(nèi)研究人員的關(guān)注,。

Mixtral 8x7B 之所以叫 Mixtral 8x7B,，是因?yàn)樗鼘儆谙∈枘Ｐ停瑢⒏鞣N為處理特定任務(wù)而訓(xùn)練的較小模型組合在一起,，從而提高了運(yùn)行效率,。

性能方面，Mixtral表現(xiàn)優(yōu)于Llama 2 70B,，推理速度提高了整整6倍,；在大多數(shù)標(biāo)準(zhǔn)基準(zhǔn)測試上與GPT-3.5打平，甚至略勝一籌,。

成本方面,，由于Mixtral的參數(shù)較小，所以其成本也更低,。與Llama 2相比,，Mixtral 8x7B表現(xiàn)出自己高能效的優(yōu)勢。

值得一提的是,，MistralAI剛剛完成4.15億美元融資，最新估值已經(jīng)沖破20億美元,，在短短6個(gè)月中增長了7倍多,。

本周另一家登場的小模型是微軟自制模型Phi-2，Phi-2 的參數(shù)只有27億,，小到足以在手機(jī)上運(yùn)行,。該模型在精心挑選的數(shù)據(jù)集上進(jìn)行了訓(xùn)練，數(shù)據(jù)集的質(zhì)量足夠高,，即使手機(jī)的計(jì)算能力有限,，也能確保模型生成準(zhǔn)確的結(jié)果。

從性能表現(xiàn)看,，Phi-2在Big Bench Hard（BBH）,、常識推理、語言理解,、數(shù)學(xué)和編碼基準(zhǔn)測試中,，其平均性能得分已經(jīng)超過70億、130億參數(shù)規(guī)模的Mistral和Llama 2,，在部分基準(zhǔn)測試中超過谷歌的Gemini Nano 2,。

目前微軟正發(fā)力小模型的布局，分析指出，微軟與OpenAI的緊密合作,，使得GPT模型的表現(xiàn)在大模型市場一騎絕塵,，再加上微軟參數(shù)規(guī)模更小的Phi系列，能進(jìn)一步搶占開源模型長尾市場,。

02 模型能力強(qiáng)大的關(guān)鍵：強(qiáng)化學(xué)習(xí)技術(shù)

AI領(lǐng)域的另一大進(jìn)展則是強(qiáng)化學(xué)習(xí)技術(shù)的優(yōu)化,，強(qiáng)化學(xué)習(xí)是一種基于“獎勵期望行為”和“懲罰不期望行為”的機(jī)器學(xué)習(xí)訓(xùn)練方法。

許多人猜測,，OpenAI的模型之所以表現(xiàn)如此出色,，主要是因?yàn)樗褂昧巳祟悂砀嬖V模型哪些結(jié)果是好的，哪些結(jié)果是壞的,，也就是所謂的“人類反饋強(qiáng)化學(xué)習(xí)”（RLHF）,。

根據(jù)強(qiáng)化學(xué)習(xí)初創(chuàng)公司Adaptive的聯(lián)合創(chuàng)始人Julien Launay介紹，AI缺少如何將這些知識整合在一起的規(guī)則,。

例如,，一個(gè)看似簡單的問題“我的iPhone掉了會怎樣？”需要模型理解iPhone是什么,？物體掉落時(shí)會發(fā)生什么,？iPhone很貴，掉了我會很傷心以及所有這些想法之間的關(guān)系,。強(qiáng)化學(xué)習(xí)在某種程度上為模型提供了自己的知識圖譜,，告訴模型某些信息是如何關(guān)聯(lián)的。

不過,，強(qiáng)化學(xué)習(xí)遠(yuǎn)非完美,，執(zhí)行起來成本也很昂貴，業(yè)內(nèi)期待更便宜,、更有效的訓(xùn)練方案。這一點(diǎn)很重要,，因?yàn)樗馕吨⌒烷_發(fā)者可能很快就能利用,，以前只有大型模型提供商才能使用的訓(xùn)練技術(shù)來改進(jìn)他們的模型。

近期,，一家利用私人數(shù)據(jù)開發(fā)定制模型的初創(chuàng)公司Contextual AI開發(fā)了一種方法,，只需要人類發(fā)出信號，也許是在聊天機(jī)器人上點(diǎn)擊,，就能知道模型的反應(yīng)是可取的還是不可取的,。

這種方法改進(jìn)了傳統(tǒng)的、更加主觀的做法,，即要求人類從多個(gè)可能的回應(yīng)中選出他們認(rèn)為最佳的模型回應(yīng),。Contextual 將這種新方法命名為“Kahneman-Tversky Optimization”，以紀(jì)念這兩位著名的經(jīng)濟(jì)學(xué)家。

Contextual AI研究員Kawin Ethayarajh指出,，研究人員還利用像OpenAI的GPT-4 這樣更大,、更復(fù)雜的模型，對更小,、能力更弱的模型進(jìn)行訓(xùn)練,。

就目前而言，強(qiáng)化學(xué)習(xí)仍然是一個(gè)復(fù)雜而困難的過程,，但像這樣的新發(fā)現(xiàn)有望讓處于劣勢的開發(fā)者在與OpenAI的競爭中占得先機(jī),。