能感受到其中的趨勢(shì)嗎？

原文來(lái)源：機(jī)器之心

圖片來(lái)源：由無(wú)界 AI生成

2023 年即將過(guò)去,。一年以來(lái)，各式各樣的大模型爭(zhēng)相發(fā)布,。當(dāng) OpenAI 和谷歌等科技巨頭正在角逐時(shí),，另一方「勢(shì)力」悄然崛起 —— 開(kāi)源,。

開(kāi)源模型受到的質(zhì)疑一向不少。它們是否能像專有模型一樣優(yōu)秀,？是否能夠媲美專有模型的性能,？迄今為止，我們一直還只能說(shuō)是某些方面接近,。即便如此,，開(kāi)源模型總會(huì)給我們帶來(lái)經(jīng)驗(yàn)的表現(xiàn)，讓我們刮目相看,。

開(kāi)源模型的興起正在改變游戲規(guī)則,。如 Meta 的 LLaMA 系列以其快速迭代、可定制性和隱私性正受到追捧,。這些模型被社區(qū)迅速發(fā)展,，給專有模型帶來(lái)了強(qiáng)有力的挑戰(zhàn)，能夠改變大型科技公司的競(jìng)爭(zhēng)格局,。

不過(guò)此前人們的想法大多只是來(lái)自于「感覺(jué)」,。今天早上，Meta 首席 AI 科學(xué)家,、圖靈獎(jiǎng)獲得者 Yann LeCun 突然發(fā)出了這樣的感嘆：「開(kāi)源人工智能模型正走在超越專有模型的路上,?！?/p>

這張由方舟投資（ARK Invest）團(tuán)隊(duì)制作的趨勢(shì)圖,，被認(rèn)為很有可能是對(duì) 2024 年 AI 發(fā)展做出了預(yù)測(cè),。它描繪了開(kāi)源社區(qū)與專有模型在生成式 AI 上的發(fā)展。

隨著像 OpenAI 和 Google 這樣的公司變得越來(lái)越封閉,，越來(lái)越少地公開(kāi)他們的最新模型信息,，開(kāi)源社區(qū)及其企業(yè)支持者 Meta 似乎正緊隨其后，使得生成式 AI 的訪問(wèn)更為民主化,，這可能對(duì)專有模型的商業(yè)模式構(gòu)成挑戰(zhàn),。

在這個(gè)散點(diǎn)圖中顯示了各種 AI 模型的性能百分比。專有模型用藍(lán)色表示,，開(kāi)源模型用黑色表示,。我們可以看到不同的 AI 模型如 GPT-3、Chinchilla 70B（谷歌）,、PaLM（谷歌）,、GPT-4（OpenAI）和 Llama65B（Meta）等在不同時(shí)間點(diǎn)的性能。

Meta 最初發(fā)布 LLaMA 時(shí),，參數(shù)量從 70 億到 650 億不等,。這些模型的性能非常優(yōu)異：具有 130 億參數(shù)的 Llama 模型「在大多數(shù)基準(zhǔn)上」可以勝過(guò) GPT-3（ 參數(shù)量達(dá) 1750 億），而且可以在單塊 V100 GPU 上運(yùn)行,；而最大的 650 億參數(shù)的 Llama 模型可以媲美谷歌的 Chinchilla-70B 和 PaLM-540B,。

Falcon-40B 剛發(fā)布就沖上了 Huggingface 的 OpenLLM 排行榜首位，改變了 Llama 一枝獨(dú)秀的場(chǎng)面,。

Llama 2 開(kāi)源，再一次使大模型格局發(fā)生巨變,。相比于 Llama 1,，Llama 2 的訓(xùn)練數(shù)據(jù)多了 40%，上下文長(zhǎng)度也翻倍,，并采用了分組查詢注意力機(jī)制。

最近,，開(kāi)源大模型宇宙又有了新的重量級(jí)成員 ——Yi 模型,。它能一次處理 40 萬(wàn)漢字、中英均霸榜,。Yi-34B 也成為迄今為止唯一成功登頂 Hugging Face 開(kāi)源模型排行榜的國(guó)產(chǎn)模型,。

如散點(diǎn)圖所示，開(kāi)源模型的性能在不斷追趕專有模型,。這可能意味著在不久的將來(lái),，開(kāi)源模型有望在性能上與專有模型平起平坐，甚至超越,。

就在上周末,，Mistral 8x7B 用最樸素的發(fā)布方式以及強(qiáng)大的性能，讓研究者評(píng)價(jià)道：「閉源大模型走到結(jié)局了,?！?/p>

有網(wǎng)友已經(jīng)開(kāi)始預(yù)祝 「2024 年成為開(kāi)源 Al 年」，「我們正在接近一個(gè)臨界點(diǎn),。以目前開(kāi)源社區(qū)項(xiàng)目的發(fā)展速度,，我們將在未來(lái) 12 個(gè)月內(nèi)達(dá)到 GPT-4 的水平?！?/p>

接下來(lái)開(kāi)源模型的未來(lái)是否坦途一片，又會(huì)有怎樣的表現(xiàn),，我們拭目以待,。

參考內(nèi)容：

https://twitter.com/ylecun/status/1734377019608014956