原文來源：大模型之家

作者：王昊達(dá)

圖片來源：由無界 AI生成

2023年,，Colossal-AI團(tuán)隊(duì)僅用85億tokens,、15小時(shí)和幾百美元完成了對(duì) LLaMA-2 7B的性能優(yōu)化,。升級(jí)后的Chinese LLaMA-2 7B在多個(gè)基準(zhǔn)評(píng)估測(cè)試中都有著更出色的表現(xiàn)。

2024年伊始,，Colossal-AI在初始框架的基礎(chǔ)上開啟模型的下一輪迭代,，利用250億tokens構(gòu)建了一個(gè)更精致和全面的數(shù)據(jù)架構(gòu)，最終打造了一個(gè)精細(xì)化的13B模型——Colossal-LLaMA-2-13B-base,。并且Colossal-AI開源了Colossal-LLaMA-2的模型代碼和特定權(quán)重,。

圖源：Colossal-AI

在英文測(cè)試MMLU排名中,，Colossal-LLaMA-2-13B-base在英文性能方面穩(wěn)步提升,，這主要是因?yàn)镃olossal-AI采用低成本的漸進(jìn)式預(yù)訓(xùn)練。值得注意的是,，在GSM8k評(píng)估中,，Colossal-LLaMA-2-13B-base的英文數(shù)學(xué)和推理能力有了顯著提升，位列所有參評(píng)的13B大模型第一,。

在中文測(cè)試中,，Colossal-LLaMA-2-13B-base在CMMLU、AGIEVAL,、GAOKAO和C-Eval測(cè)試中都更優(yōu)于其他中文模型,。甚至在介紹中Colossal-AI表示，團(tuán)隊(duì)優(yōu)化的大模型比花費(fèi)高昂研發(fā)經(jīng)費(fèi)的國(guó)內(nèi)大廠推出的大模型更加優(yōu)秀,。

圖源：Colossal-AI

通過模型訓(xùn)練過程中記錄下來的損失值的歷史數(shù)據(jù)，可以很明顯地發(fā)現(xiàn),，Colossal-LLaMA-2-13B-base在不同訓(xùn)練階段的性能表現(xiàn),，以及模型是如何逐漸學(xué)習(xí)提高預(yù)測(cè)準(zhǔn)確性的。Colossal-AI系統(tǒng)能夠?yàn)榇竽Ｐ烷_發(fā)降本增效的特性,，可以確保模型在訓(xùn)練過程中逐漸趨于穩(wěn)定狀態(tài),。并且Colossal-AI僅需要250億tokens以及5000美元的訓(xùn)練費(fèi),。與當(dāng)前市場(chǎng)中流行的要求使用數(shù)萬億個(gè)tokens進(jìn)行訓(xùn)練的大模型進(jìn)行對(duì)比，Colossal-AI將節(jié)省更多的算力開支,。

優(yōu)化數(shù)據(jù)利用,，節(jié)約算力成本

Colossal-AI認(rèn)為高質(zhì)量數(shù)據(jù)集是大模型降低訓(xùn)練成本的關(guān)鍵因素，特別是在增量預(yù)訓(xùn)練的背景下,，對(duì)數(shù)據(jù)的質(zhì)量和分布有著嚴(yán)格的要求,，早在Chinese LLaMA-2 7B訓(xùn)練期間，Colossal-AI團(tuán)隊(duì)便建立了一個(gè)數(shù)據(jù)清理系統(tǒng)和工具包,，以過濾高質(zhì)量的數(shù)據(jù)用于增量預(yù)訓(xùn)練,。

與7B版本相比，Colossal-LLaMA-2-13B-base的訓(xùn)練采用了更精細(xì)的數(shù)據(jù)架構(gòu),，將數(shù)據(jù)分類為基于知識(shí)的,、功能性的和內(nèi)存回放的數(shù)據(jù)?；谥R(shí)的數(shù)據(jù)細(xì)分為十幾個(gè)主要類別,，包括金融、法律,、教育等，每個(gè)主要類別進(jìn)一步劃分為子類別,，以實(shí)現(xiàn)對(duì)不同數(shù)據(jù)的精確控制,。此外，各個(gè)垂直領(lǐng)域的數(shù)據(jù)規(guī)模增加,，以確保模型對(duì)來自多樣領(lǐng)域的數(shù)據(jù)具有牢固地把握,。

為了滿足社區(qū)對(duì)大型模型功能性能的需求，Colossal-AI針對(duì)不同的自然語言處理任務(wù)進(jìn)行了有針對(duì)性地增強(qiáng),。確保了在預(yù)訓(xùn)練期間,，模型在文本摘要、信息提取以及理解復(fù)雜問題解決鏈等常見自然語言處理任務(wù)中達(dá)到一定水平的理解和熟練度,。同時(shí)，Colossal-AI還將Experience Replay（經(jīng)驗(yàn)回放）數(shù)據(jù)作為實(shí)現(xiàn)模型對(duì)已獲知知識(shí)的掌握的關(guān)鍵組成部分,，這也有效提升了模型的整體性能和泛化能力,。

值得一提的是，考慮到為了社會(huì)對(duì)于大模型安全性日益增長(zhǎng)的擔(dān)憂,，Colossal-AI團(tuán)隊(duì)實(shí)施了多維度的增強(qiáng)措施,，以確保基礎(chǔ)大模型具有強(qiáng)大的安全性并符合正確的價(jià)值觀,。

2024,，算力為王,？

根據(jù)大模型之家發(fā)布的《2024人工智能產(chǎn)業(yè)趨勢(shì)預(yù)測(cè)》中指出,，隨著深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等技術(shù)的廣泛應(yīng)用,，對(duì)GPU算力的需求將持續(xù)飆升,。預(yù)計(jì)2024年，智能算力將成為AI領(lǐng)域的主要瓶頸之一,，引發(fā)算力市場(chǎng)的競(jìng)爭(zhēng)加劇,。

為了滿足不斷增長(zhǎng)的計(jì)算能力需求，企業(yè)將增加投資,，推動(dòng)人工智能芯片技術(shù)的發(fā)展,。與此同時(shí)，云計(jì)算業(yè)務(wù)將持續(xù)擴(kuò)張,，成為緩解計(jì)算能力不足的重要途徑,。此外，國(guó)家級(jí)人工智能中心的興起,，也將成為推動(dòng)人工智能技術(shù)發(fā)展的重要?jiǎng)恿Α?/p>

2023年10月,，工信部等六部門聯(lián)合印發(fā)《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動(dòng)計(jì)劃》，其中提出2025年建成50個(gè)智能計(jì)算中心等量化指標(biāo),。而計(jì)算力方面,，到2025年規(guī)模將超過300EFLOPS，智能算力占比達(dá)到35%,。

圖源：工信部官網(wǎng)

在23年末的百度云智大會(huì)·智算大會(huì)上百度智能云表示，為滿足大模型落地需求,，正在基于「云智一體」戰(zhàn)略重構(gòu)云計(jì)算服務(wù),，完成了從底層基礎(chǔ)設(shè)施到大模型開發(fā)與應(yīng)用再到AI原生應(yīng)用開發(fā)的端到端升級(jí),。

在云計(jì)算全面升級(jí)方面，百度智能云發(fā)布了20多款全棧產(chǎn)品,，覆蓋了智能計(jì)算,、通用計(jì)算、數(shù)據(jù)庫(kù)和大數(shù)據(jù),、分布式云,、應(yīng)用開發(fā)平臺(tái)等五大領(lǐng)域。包括百舸·AI異構(gòu)計(jì)算平臺(tái)3.0,，專門優(yōu)化了大模型的訓(xùn)練,、推理等環(huán)節(jié)，提高了產(chǎn)品能力,，實(shí)現(xiàn)了模型訓(xùn)練時(shí)長(zhǎng)和帶寬有效性的顯著提升,。

圖源：百度智能云

在數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域,，百度智能云發(fā)布了一系列重磅新品,，包括滄海·存儲(chǔ),、云原生數(shù)據(jù)庫(kù)GaiaDB等,，以滿足大模型落地對(duì)數(shù)據(jù)存儲(chǔ)、管理和分析的需求,。為了解決算力的供給平衡問題,，百度智能云還發(fā)布了智算網(wǎng)絡(luò)平臺(tái)，支持全域接入智算節(jié)點(diǎn),，通過算力調(diào)度算法智能分析和統(tǒng)一調(diào)度各類算力資源,，實(shí)現(xiàn)智算資源的靈活、穩(wěn)定,、高效地交付,。

在未來的算力市場(chǎng)中，硬件技術(shù)的疾速演進(jìn)和云計(jì)算業(yè)務(wù)的蓬勃增長(zhǎng),，是整個(gè)應(yīng)用環(huán)境的深刻變遷,。大模型高歌猛進(jìn)的發(fā)展態(tài)勢(shì)正讓人們經(jīng)歷著前所未有的算力生態(tài)變革。

隨著算力技術(shù)浪潮的升騰,，在算力大幅提升的同時(shí),，企業(yè)和社會(huì)必須更加關(guān)切數(shù)據(jù)隱私、安全性等方面的問題,，確保人工智能技術(shù)的成功不僅止步于技術(shù)的巔峰，同時(shí)在倫理和社會(huì)的高度上實(shí)現(xiàn)平衡,。

大模型之家認(rèn)為,，未來的算力市場(chǎng)將由硬件和技術(shù)的單一競(jìng)爭(zhēng),，演變?yōu)閷?duì)智能算力如何更好地服務(wù)社會(huì)、推動(dòng)創(chuàng)新,、維護(hù)道德底線的深刻思考,。在這個(gè)飛速發(fā)展的時(shí)代，我們期盼著算力市場(chǎng)和應(yīng)用環(huán)境的協(xié)同演進(jìn),，為構(gòu)建一個(gè)更加智能,、可持續(xù)、人性化的未來奠定堅(jiān)實(shí)基礎(chǔ),。