原文來源：大模型之家

作者：王昊達

圖片來源：由無界 AI生成

2023年，Colossal-AI團隊僅用85億tokens,、15小時和幾百美元完成了對 LLaMA-2 7B的性能優(yōu)化,。升級后的Chinese LLaMA-2 7B在多個基準(zhǔn)評估測試中都有著更出色的表現(xiàn)。

2024年伊始,，Colossal-AI在初始框架的基礎(chǔ)上開啟模型的下一輪迭代,，利用250億tokens構(gòu)建了一個更精致和全面的數(shù)據(jù)架構(gòu)，最終打造了一個精細化的13B模型——Colossal-LLaMA-2-13B-base,。并且Colossal-AI開源了Colossal-LLaMA-2的模型代碼和特定權(quán)重,。

圖源：Colossal-AI

在英文測試MMLU排名中,，Colossal-LLaMA-2-13B-base在英文性能方面穩(wěn)步提升,，這主要是因為Colossal-AI采用低成本的漸進式預(yù)訓(xùn)練。值得注意的是,，在GSM8k評估中,，Colossal-LLaMA-2-13B-base的英文數(shù)學(xué)和推理能力有了顯著提升，位列所有參評的13B大模型第一,。

在中文測試中,，Colossal-LLaMA-2-13B-base在CMMLU、AGIEVAL,、GAOKAO和C-Eval測試中都更優(yōu)于其他中文模型,。甚至在介紹中Colossal-AI表示，團隊優(yōu)化的大模型比花費高昂研發(fā)經(jīng)費的國內(nèi)大廠推出的大模型更加優(yōu)秀,。

圖源：Colossal-AI

通過模型訓(xùn)練過程中記錄下來的損失值的歷史數(shù)據(jù)，可以很明顯地發(fā)現(xiàn),，Colossal-LLaMA-2-13B-base在不同訓(xùn)練階段的性能表現(xiàn),，以及模型是如何逐漸學(xué)習(xí)提高預(yù)測準(zhǔn)確性的。Colossal-AI系統(tǒng)能夠為大模型開發(fā)降本增效的特性,，可以確保模型在訓(xùn)練過程中逐漸趨于穩(wěn)定狀態(tài),。并且Colossal-AI僅需要250億tokens以及5000美元的訓(xùn)練費。與當(dāng)前市場中流行的要求使用數(shù)萬億個tokens進行訓(xùn)練的大模型進行對比,，Colossal-AI將節(jié)省更多的算力開支,。

優(yōu)化數(shù)據(jù)利用,，節(jié)約算力成本

Colossal-AI認(rèn)為高質(zhì)量數(shù)據(jù)集是大模型降低訓(xùn)練成本的關(guān)鍵因素，特別是在增量預(yù)訓(xùn)練的背景下,，對數(shù)據(jù)的質(zhì)量和分布有著嚴(yán)格的要求,，早在Chinese LLaMA-2 7B訓(xùn)練期間，Colossal-AI團隊便建立了一個數(shù)據(jù)清理系統(tǒng)和工具包,，以過濾高質(zhì)量的數(shù)據(jù)用于增量預(yù)訓(xùn)練,。

與7B版本相比，Colossal-LLaMA-2-13B-base的訓(xùn)練采用了更精細的數(shù)據(jù)架構(gòu),，將數(shù)據(jù)分類為基于知識的,、功能性的和內(nèi)存回放的數(shù)據(jù)?；谥R的數(shù)據(jù)細分為十幾個主要類別，包括金融,、法律,、教育等，每個主要類別進一步劃分為子類別,，以實現(xiàn)對不同數(shù)據(jù)的精確控制,。此外，各個垂直領(lǐng)域的數(shù)據(jù)規(guī)模增加,，以確保模型對來自多樣領(lǐng)域的數(shù)據(jù)具有牢固地把握,。

為了滿足社區(qū)對大型模型功能性能的需求，Colossal-AI針對不同的自然語言處理任務(wù)進行了有針對性地增強,。確保了在預(yù)訓(xùn)練期間,，模型在文本摘要、信息提取以及理解復(fù)雜問題解決鏈等常見自然語言處理任務(wù)中達到一定水平的理解和熟練度,。同時,，Colossal-AI還將Experience Replay（經(jīng)驗回放）數(shù)據(jù)作為實現(xiàn)模型對已獲知知識的掌握的關(guān)鍵組成部分，這也有效提升了模型的整體性能和泛化能力,。

值得一提的是,，考慮到為了社會對于大模型安全性日益增長的擔(dān)憂，Colossal-AI團隊實施了多維度的增強措施,，以確?；A(chǔ)大模型具有強大的安全性并符合正確的價值觀。

2024,，算力為王,？

根據(jù)大模型之家發(fā)布的《2024人工智能產(chǎn)業(yè)趨勢預(yù)測》中指出,，隨著深度學(xué)習(xí),、機器學(xué)習(xí)等技術(shù)的廣泛應(yīng)用，對GPU算力的需求將持續(xù)飆升,。預(yù)計2024年,，智能算力將成為AI領(lǐng)域的主要瓶頸之一，引發(fā)算力市場的競爭加劇,。

為了滿足不斷增長的計算能力需求,，企業(yè)將增加投資，推動人工智能芯片技術(shù)的發(fā)展,。與此同時,，云計算業(yè)務(wù)將持續(xù)擴張，成為緩解計算能力不足的重要途徑,。此外,，國家級人工智能中心的興起，也將成為推動人工智能技術(shù)發(fā)展的重要動力,。

2023年10月,，工信部等六部門聯(lián)合印發(fā)《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計劃》，其中提出2025年建成50個智能計算中心等量化指標(biāo),。而計算力方面,，到2025年規(guī)模將超過300EFLOPS，智能算力占比達到35%,。

圖源：工信部官網(wǎng)

在23年末的百度云智大會·智算大會上百度智能云表示，為滿足大模型落地需求,，正在基于「云智一體」戰(zhàn)略重構(gòu)云計算服務(wù),，完成了從底層基礎(chǔ)設(shè)施到大模型開發(fā)與應(yīng)用再到AI原生應(yīng)用開發(fā)的端到端升級。

在云計算全面升級方面，百度智能云發(fā)布了20多款全棧產(chǎn)品,，覆蓋了智能計算,、通用計算、數(shù)據(jù)庫和大數(shù)據(jù),、分布式云,、應(yīng)用開發(fā)平臺等五大領(lǐng)域。包括百舸·AI異構(gòu)計算平臺3.0,，專門優(yōu)化了大模型的訓(xùn)練,、推理等環(huán)節(jié)，提高了產(chǎn)品能力,，實現(xiàn)了模型訓(xùn)練時長和帶寬有效性的顯著提升,。

圖源：百度智能云

在數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域,，百度智能云發(fā)布了一系列重磅新品,，包括滄海·存儲,、云原生數(shù)據(jù)庫GaiaDB等,，以滿足大模型落地對數(shù)據(jù)存儲、管理和分析的需求,。為了解決算力的供給平衡問題，百度智能云還發(fā)布了智算網(wǎng)絡(luò)平臺,，支持全域接入智算節(jié)點,，通過算力調(diào)度算法智能分析和統(tǒng)一調(diào)度各類算力資源，實現(xiàn)智算資源的靈活,、穩(wěn)定,、高效地交付。

在未來的算力市場中,，硬件技術(shù)的疾速演進和云計算業(yè)務(wù)的蓬勃增長,，是整個應(yīng)用環(huán)境的深刻變遷。大模型高歌猛進的發(fā)展態(tài)勢正讓人們經(jīng)歷著前所未有的算力生態(tài)變革,。

隨著算力技術(shù)浪潮的升騰,，在算力大幅提升的同時，企業(yè)和社會必須更加關(guān)切數(shù)據(jù)隱私,、安全性等方面的問題,，確保人工智能技術(shù)的成功不僅止步于技術(shù)的巔峰，同時在倫理和社會的高度上實現(xiàn)平衡,。

大模型之家認(rèn)為,，未來的算力市場將由硬件和技術(shù)的單一競爭，演變?yōu)閷χ悄芩懔θ绾胃玫胤?wù)社會,、推動創(chuàng)新,、維護道德底線的深刻思考,。在這個飛速發(fā)展的時代，我們期盼著算力市場和應(yīng)用環(huán)境的協(xié)同演進,，為構(gòu)建一個更加智能,、可持續(xù)、人性化的未來奠定堅實基礎(chǔ),。