本報(bào)記者 秦梟 北京報(bào)道

ChatGPT發(fā)布至今，AI大模型正在進(jìn)入全新的生態(tài)模式,，展開了一個(gè)全新的旅程,，各個(gè)研究機(jī)構(gòu)、公司都展開了一場(chǎng)關(guān)于大模型的比拼,。據(jù)科技部新一代人工智能發(fā)展研究中心等機(jī)構(gòu)發(fā)布的數(shù)據(jù),，中國(guó)10億參數(shù)規(guī)模以上的大模型已發(fā)布79個(gè)。但同時(shí),，企業(yè)在開發(fā)及實(shí)施大模型應(yīng)用過(guò)程中面臨諸多挑戰(zhàn),，尤其是數(shù)據(jù)存儲(chǔ)方面。

多位業(yè)內(nèi)人士對(duì)《中國(guó)經(jīng)營(yíng)報(bào)》記者表示,，大模型時(shí)代,，數(shù)據(jù)決定AI智能的高度。作為數(shù)據(jù)的載體,，數(shù)據(jù)存儲(chǔ)成為AI大模型的關(guān)鍵基礎(chǔ)設(shè)施,。國(guó)內(nèi)要發(fā)展人工智能,，并使這一產(chǎn)業(yè)得到高速的發(fā)展，一定要重視數(shù)據(jù)和信息的數(shù)字化記錄,。如今,，國(guó)內(nèi)建設(shè)了大量的數(shù)據(jù)中心，算力相對(duì)較多,，但存力較少,，很多高價(jià)值的信息都沒(méi)有被記錄下來(lái)。

挑戰(zhàn)依舊

以ChatGPT為代表的大模型成功實(shí)現(xiàn)商業(yè)化落地,，并引發(fā)了業(yè)界震動(dòng),。人工智能也正在從感知理解走向生成創(chuàng)造。而AI大模型儼然成為互聯(lián)網(wǎng)的“新風(fēng)口”,，在這場(chǎng)AI帶來(lái)的新變革中,，企業(yè)紛紛緊跟時(shí)代浪潮，建立自己的大模型,。

但隨著大模型產(chǎn)業(yè)的快速發(fā)展,，模型規(guī)模的快速膨脹，AIGC模型預(yù)訓(xùn)練數(shù)據(jù)量呈現(xiàn)指數(shù)級(jí)增長(zhǎng),，帶動(dòng)算力需求爆發(fā),。從GPT-1到GPT-3，模型參數(shù)量從GPT-1的1.17億增加到GPT-3的1750億,；訓(xùn)練數(shù)據(jù)量也由GPT-1的5GB,，增加到GPT-3的45TB。這也就導(dǎo)致面向AI大模型的數(shù)據(jù)準(zhǔn)備時(shí)間長(zhǎng),，數(shù)據(jù)來(lái)源分散,，歸集慢。

華為數(shù)據(jù)存儲(chǔ)產(chǎn)品線總裁周躍峰表示,，第一,，在大模型訓(xùn)練過(guò)程中，需要把分散到各個(gè)地方的數(shù)據(jù)進(jìn)行歸集,、預(yù)處理,，然后再把它送給AI大模型。數(shù)據(jù)預(yù)處理的過(guò)程非常長(zhǎng),，統(tǒng)計(jì)發(fā)現(xiàn),，上百個(gè)TB級(jí)的數(shù)據(jù)可能需要大概10天左右的準(zhǔn)備時(shí)間,，這個(gè)對(duì)于整個(gè)系統(tǒng)的高效利用是不利的；第二,，多模態(tài)大模型以海量文本,、圖片為訓(xùn)練集，當(dāng)前海量小文件的加載速度不足100MB/s,，訓(xùn)練集加載效率低,；第三，大模型參數(shù)頻繁調(diào)優(yōu),，訓(xùn)練平臺(tái)不穩(wěn)定,，平均約2天出現(xiàn)一次訓(xùn)練中斷，需要Checkpoint機(jī)制恢復(fù)訓(xùn)練,，故障恢復(fù)耗時(shí)超過(guò)一天,；第四，大模型實(shí)施門檻高,，系統(tǒng)搭建繁雜,，資源調(diào)度難，GPU資源利用率通常不到40%,。

周躍峰認(rèn)為,，AI大模型在進(jìn)入各個(gè)企業(yè)的時(shí)候，實(shí)施門檻還是非常高,，它需要非常專業(yè)的軟件,、硬件甚至是維護(hù)工程師來(lái)進(jìn)行實(shí)施并進(jìn)行后續(xù)的維護(hù)。同時(shí)可以看到今天的大模型和算力的應(yīng)用尤其是GPU的應(yīng)用相對(duì)還是比較簡(jiǎn)單,、傳統(tǒng)的裸機(jī)系統(tǒng),，GPU資源的利用效率相對(duì)來(lái)說(shuō)比較低。

存儲(chǔ)需求上升

“大模型時(shí)代,，數(shù)據(jù)決定AI智能的高度,。作為數(shù)據(jù)的載體，數(shù)據(jù)存儲(chǔ)成為AI大模型的關(guān)鍵基礎(chǔ)設(shè)施,?！敝苘S峰表示。數(shù)據(jù)存儲(chǔ)成為解決AI大模型發(fā)展瓶頸的關(guān)鍵,。

周躍峰解釋道：“目前大模型算力成本約占整個(gè)成本的25%,，而數(shù)據(jù)清洗、預(yù)處理等工作,，在不算數(shù)據(jù)存儲(chǔ)硬件的情況下,，占到成本的22%。從這個(gè)角度看,，數(shù)據(jù)機(jī)器存儲(chǔ)過(guò)程,，在大模型時(shí)代越來(lái)越重要,。這不僅僅是簡(jiǎn)單的數(shù)據(jù)量變大，而且數(shù)據(jù)的處理過(guò)程,，以及過(guò)程中對(duì)于硬件性能的要求越來(lái)越高?！彼J(rèn)為,，隨著大模型出現(xiàn)，數(shù)據(jù)存儲(chǔ)和處理相關(guān)領(lǐng)域未來(lái)會(huì)越來(lái)越有前景,。

華為蘇黎士研究所數(shù)據(jù)存儲(chǔ)首席科學(xué)家張霽也認(rèn)為,，隨著數(shù)據(jù)源日趨豐富，很多企業(yè)開始關(guān)注數(shù)據(jù)安全問(wèn)題,，而數(shù)據(jù)存儲(chǔ)是數(shù)據(jù)安全的第一道防線,。

為此，華為推出了OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲(chǔ)與FusionCube A3000訓(xùn)/推超融合一體機(jī),。

其中,，OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲(chǔ)，在數(shù)據(jù)準(zhǔn)備到斷點(diǎn)接續(xù),，再到整個(gè)訓(xùn)練/推理一條鏈的過(guò)程發(fā)力,，用近存計(jì)算和高性能分布式文件存儲(chǔ)系統(tǒng)，實(shí)現(xiàn)從數(shù)據(jù)歸集,、預(yù)處理到模型訓(xùn)練,、推理應(yīng)用的AI全流程海量數(shù)據(jù)管理，為企業(yè)解決數(shù)據(jù)底座問(wèn)題,。

FusionCube A3000訓(xùn)/推超融合一體機(jī)面向行業(yè)大模型訓(xùn)練/推理場(chǎng)景,，針對(duì)百億級(jí)模型應(yīng)用，可提供拎包入住式的部署體驗(yàn),。周躍峰表示,，通過(guò)一體機(jī)方式，納入所有軟件,，降低企業(yè)使用門檻,，實(shí)現(xiàn)資源高效利用?！拔覀円蚕Ｍㄟ^(guò)這個(gè)手段,，助推中國(guó)的AI成為真正的所謂的普惠AI，而不是頭部企業(yè)用的先進(jìn)工具,，而是讓它成為普適性的工具,。”

對(duì)此,，華為分布式存儲(chǔ)領(lǐng)域副總裁韓振興表示：“我們?cè)谶@方面已經(jīng)籌備了兩三年,，因?yàn)槲覀冎熬涂吹搅薃I的大趨勢(shì),。當(dāng)然我們也確實(shí)是沒(méi)有預(yù)料到它突然爆發(fā)，但我們?cè)诤茉缇瓦M(jìn)行了籌備,。所以當(dāng)看到大模型開始的時(shí)候,，便發(fā)布了這兩個(gè)新品，它們的性能指標(biāo)高于整個(gè)業(yè)界60%以上,?！?/p>

（編輯：張靖超 校對(duì)：燕郁霞）