原文來源：大模型之家

作者：王昊達(dá)

圖片來源：由無界 AI生成

2023年,，Colossal-AI團(tuán)隊僅用85億tokens,、15小時和幾百美元完成了對 LLaMA-2 7B的性能優(yōu)化。升級后的Chinese LLaMA-2 7B在多個基準(zhǔn)評估測試中都有著更出色的表現(xiàn),。

2024年伊始,，Colossal-AI在初始框架的基礎(chǔ)上開啟模型的下一輪迭代，利用250億tokens構(gòu)建了一個更精致和全面的數(shù)據(jù)架構(gòu),，最終打造了一個精細(xì)化的13B模型——Colossal-LLaMA-2-13B-base,。并且Colossal-AI開源了Colossal-LLaMA-2的模型代碼和特定權(quán)重。

圖源：Colossal-AI

在英文測試MMLU排名中,，Colossal-LLaMA-2-13B-base在英文性能方面穩(wěn)步提升，這主要是因為Colossal-AI采用低成本的漸進(jìn)式預(yù)訓(xùn)練,。值得注意的是,，在GSM8k評估中，Colossal-LLaMA-2-13B-base的英文數(shù)學(xué)和推理能力有了顯著提升,，位列所有參評的13B大模型第一,。

在中文測試中，Colossal-LLaMA-2-13B-base在CMMLU,、AGIEVAL,、GAOKAO和C-Eval測試中都更優(yōu)于其他中文模型。甚至在介紹中Colossal-AI表示,，團(tuán)隊優(yōu)化的大模型比花費(fèi)高昂研發(fā)經(jīng)費(fèi)的國內(nèi)大廠推出的大模型更加優(yōu)秀,。

圖源：Colossal-AI

通過模型訓(xùn)練過程中記錄下來的損失值的歷史數(shù)據(jù),，可以很明顯地發(fā)現(xiàn),，Colossal-LLaMA-2-13B-base在不同訓(xùn)練階段的性能表現(xiàn)，以及模型是如何逐漸學(xué)習(xí)提高預(yù)測準(zhǔn)確性的,。Colossal-AI系統(tǒng)能夠為大模型開發(fā)降本增效的特性,，可以確保模型在訓(xùn)練過程中逐漸趨于穩(wěn)定狀態(tài)。并且Colossal-AI僅需要250億tokens以及5000美元的訓(xùn)練費(fèi),。與當(dāng)前市場中流行的要求使用數(shù)萬億個tokens進(jìn)行訓(xùn)練的大模型進(jìn)行對比,，Colossal-AI將節(jié)省更多的算力開支。

優(yōu)化數(shù)據(jù)利用,，節(jié)約算力成本

Colossal-AI認(rèn)為高質(zhì)量數(shù)據(jù)集是大模型降低訓(xùn)練成本的關(guān)鍵因素,，特別是在增量預(yù)訓(xùn)練的背景下,，對數(shù)據(jù)的質(zhì)量和分布有著嚴(yán)格的要求，早在Chinese LLaMA-2 7B訓(xùn)練期間,，Colossal-AI團(tuán)隊便建立了一個數(shù)據(jù)清理系統(tǒng)和工具包,，以過濾高質(zhì)量的數(shù)據(jù)用于增量預(yù)訓(xùn)練。

與7B版本相比,，Colossal-LLaMA-2-13B-base的訓(xùn)練采用了更精細(xì)的數(shù)據(jù)架構(gòu),，將數(shù)據(jù)分類為基于知識的、功能性的和內(nèi)存回放的數(shù)據(jù),?；谥R的數(shù)據(jù)細(xì)分為十幾個主要類別，包括金融,、法律,、教育等，每個主要類別進(jìn)一步劃分為子類別,，以實(shí)現(xiàn)對不同數(shù)據(jù)的精確控制,。此外，各個垂直領(lǐng)域的數(shù)據(jù)規(guī)模增加,，以確保模型對來自多樣領(lǐng)域的數(shù)據(jù)具有牢固地把握,。

為了滿足社區(qū)對大型模型功能性能的需求，Colossal-AI針對不同的自然語言處理任務(wù)進(jìn)行了有針對性地增強(qiáng),。確保了在預(yù)訓(xùn)練期間,，模型在文本摘要、信息提取以及理解復(fù)雜問題解決鏈等常見自然語言處理任務(wù)中達(dá)到一定水平的理解和熟練度,。同時,，Colossal-AI還將Experience Replay（經(jīng)驗回放）數(shù)據(jù)作為實(shí)現(xiàn)模型對已獲知知識的掌握的關(guān)鍵組成部分，這也有效提升了模型的整體性能和泛化能力,。

值得一提的是,，考慮到為了社會對于大模型安全性日益增長的擔(dān)憂，Colossal-AI團(tuán)隊實(shí)施了多維度的增強(qiáng)措施,，以確?；A(chǔ)大模型具有強(qiáng)大的安全性并符合正確的價值觀。

2024,，算力為王？

根據(jù)大模型之家發(fā)布的《2024人工智能產(chǎn)業(yè)趨勢預(yù)測》中指出,，隨著深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等技術(shù)的廣泛應(yīng)用,，對GPU算力的需求將持續(xù)飆升,。預(yù)計2024年，智能算力將成為AI領(lǐng)域的主要瓶頸之一,，引發(fā)算力市場的競爭加劇,。

為了滿足不斷增長的計算能力需求，企業(yè)將增加投資,，推動人工智能芯片技術(shù)的發(fā)展,。與此同時，云計算業(yè)務(wù)將持續(xù)擴(kuò)張,，成為緩解計算能力不足的重要途徑,。此外，國家級人工智能中心的興起,，也將成為推動人工智能技術(shù)發(fā)展的重要動力,。

2023年10月，工信部等六部門聯(lián)合印發(fā)《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計劃》,，其中提出2025年建成50個智能計算中心等量化指標(biāo),。而計算力方面，到2025年規(guī)模將超過300EFLOPS,，智能算力占比達(dá)到35%,。

圖源：工信部官網(wǎng)

在23年末的百度云智大會·智算大會上百度智能云表示,，為滿足大模型落地需求,，正在基于「云智一體」戰(zhàn)略重構(gòu)云計算服務(wù)，完成了從底層基礎(chǔ)設(shè)施到大模型開發(fā)與應(yīng)用再到AI原生應(yīng)用開發(fā)的端到端升級,。

在云計算全面升級方面,，百度智能云發(fā)布了20多款全棧產(chǎn)品，覆蓋了智能計算、通用計算,、數(shù)據(jù)庫和大數(shù)據(jù),、分布式云、應(yīng)用開發(fā)平臺等五大領(lǐng)域,。包括百舸·AI異構(gòu)計算平臺3.0,，專門優(yōu)化了大模型的訓(xùn)練、推理等環(huán)節(jié),，提高了產(chǎn)品能力,，實(shí)現(xiàn)了模型訓(xùn)練時長和帶寬有效性的顯著提升。

圖源：百度智能云

在數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域,，百度智能云發(fā)布了一系列重磅新品，包括滄?！ご鎯?、云原生數(shù)據(jù)庫GaiaDB等，以滿足大模型落地對數(shù)據(jù)存儲,、管理和分析的需求,。為了解決算力的供給平衡問題，百度智能云還發(fā)布了智算網(wǎng)絡(luò)平臺,，支持全域接入智算節(jié)點(diǎn),，通過算力調(diào)度算法智能分析和統(tǒng)一調(diào)度各類算力資源，實(shí)現(xiàn)智算資源的靈活,、穩(wěn)定,、高效地交付。

在未來的算力市場中,，硬件技術(shù)的疾速演進(jìn)和云計算業(yè)務(wù)的蓬勃增長,，是整個應(yīng)用環(huán)境的深刻變遷。大模型高歌猛進(jìn)的發(fā)展態(tài)勢正讓人們經(jīng)歷著前所未有的算力生態(tài)變革,。

隨著算力技術(shù)浪潮的升騰,，在算力大幅提升的同時,，企業(yè)和社會必須更加關(guān)切數(shù)據(jù)隱私、安全性等方面的問題,，確保人工智能技術(shù)的成功不僅止步于技術(shù)的巔峰,，同時在倫理和社會的高度上實(shí)現(xiàn)平衡。

大模型之家認(rèn)為,，未來的算力市場將由硬件和技術(shù)的單一競爭,，演變?yōu)閷χ悄芩懔θ绾胃玫胤?wù)社會、推動創(chuàng)新,、維護(hù)道德底線的深刻思考,。在這個飛速發(fā)展的時代,，我們期盼著算力市場和應(yīng)用環(huán)境的協(xié)同演進(jìn)，為構(gòu)建一個更加智能,、可持續(xù),、人性化的未來奠定堅實(shí)基礎(chǔ)。