來源：云科技時代

今天，我們正在進入AI的工業(yè)變革拐點期,。所謂AI的工業(yè)變革,，主要指以大模型AI所引發(fā)的通用AI和以通用AI為目標構建的工業(yè)標準化AI智算基礎設施,。

在通用計算時代，X86所代表的工業(yè)標準化技術體系造就了企業(yè)IT,、互聯(lián)網與云數(shù)據中心,。而在智算時代,，新的工業(yè)標準化技術體系即將涌現(xiàn)，進而帶來新的工業(yè)標準化AI智算基礎設施,。

在全球市場,，NVIDIA是AI工業(yè)變革新生力量的代表。根據The Next Platform,，NVIDIA在2023年實現(xiàn)數(shù)據中心市場大躍進,，一路躍升到第一的位置。從芯片起家的NVIDIA,，以軟件,、硬件、應用和生態(tài)的協(xié)同系統(tǒng)優(yōu)勢,，正在開創(chuàng)工業(yè)標準化的AI智算基礎設施賽道,。

而作為全球第二、中國第一服務器廠商以及數(shù)據中心系統(tǒng)廠商,，浪潮信息不能錯失這一歷史機遇,。

在2024年4月17日舉行的IPF2024浪潮信息生態(tài)伙伴大會上,，浪潮信息董事長彭震表示：人工智能是百年一遇的機遇,，人工智能與各行各業(yè)應用相結合,，將迸發(fā)出巨大的生產力，改變千行百業(yè),、帶來顛覆性變化,，未來每一臺服務器都將是AI服務器，萬卡集群將是AI算力系統(tǒng)的設計起點,。

在新起點,，浪潮信息正打造軟件,、硬件、應用和生態(tài)的協(xié)同系統(tǒng)優(yōu)勢,，迎接繼云計算之后的下一波企業(yè)IT系統(tǒng)新浪潮,。

新的工業(yè)標準化系統(tǒng)

過去18年，以公有云為代表的云計算,，是企業(yè)IT系統(tǒng)的進化,。

之前的企業(yè)IT，在X86技術體系下,，形成了以VMware虛擬化、Oracle數(shù)據庫,、微軟操作系統(tǒng),、英特爾CPU、思科網絡設備,、EMC存儲,、IBM服務器等為代表的工業(yè)標準化體系和百臺服務器規(guī)模的企業(yè)數(shù)據中心。

云計算的出現(xiàn),，形成了以Linux,、K8S、Docker,、CNCF云原生生態(tài)以及自研X86服務器為代表的新一代工業(yè)標準化體系和萬臺服務器規(guī)模的超大互聯(lián)網與云數(shù)據中心,。

深度學習和機器學習的廣泛應用，帶動了以GPU為代表的加速計算體系發(fā)展,，大模型的出現(xiàn)進一步加劇了加速計算體系對于傳統(tǒng)CPU通用計算體系的顛覆,。

Gartner近期發(fā)布的2024年CIO和技術高管調研顯示，超過60%的中國企業(yè)計劃在未來12至24個月內部署生成式AI,。由于中國企業(yè)傾向于在本地而非通過公有云部署生成式AI,，目前的基礎設施環(huán)境無法支持生成式AI項目，這將推動中國企業(yè)數(shù)據中心的設計轉型,。

Gartner指出：從零開始構建基礎模型或微調模型需要部署大規(guī)模GPU集群,，這將對現(xiàn)有數(shù)據中心帶來顛覆。因為生成式AI模型的訓練需要高吞吐量,、低延遲和無損的基礎設施,。為了支持此類高性能計算集群，必須對網絡,、存儲,、電力供應和冷卻系統(tǒng)進行升級。在某些情況下,，需要對現(xiàn)有設施進行改造,，以承載升級后的基礎設施。

不僅僅是中國,，在全球市場,，即使是微軟,、谷歌、Meta等科技巨頭,，也在重新設計數(shù)據中心,，以迎接生成式AI的浪潮,。

大模型之所以能夠驅動企業(yè)IT的工業(yè)標準化體系重塑,，是因為大模型軟件本身是一個全新的軟件品類，被認為是新的“操作系統(tǒng)”,，大模型計算的核心是GPU而不再是CPU，大模型還在變得更“大”,。

北京智源人工智能研究院副院長兼總工程師林詠華在IPF 2024上表示，2024年將進入大模型2.0時代：更大的模型——千億參數(shù)和萬億參數(shù),；更長上下文的多模態(tài),、文生視頻模型,；更大的訓練數(shù)據集——從TB級邁向PB級。

而大模型2.0將拉動更為巨大的算力需求,，芯片、服務器集群,、存儲與計算、數(shù)據中心網絡，每一層都面臨重塑,，整個系統(tǒng)將協(xié)同創(chuàng)新。

例如,，萬卡及以上的組網已經成為下一代智算中心的建設重點，但當前國內基于RoCE的萬卡高性能AI集群組網方案都是全自研路線,，企業(yè)研發(fā)投入巨大且容易重復造輪子,，如果不能形成標準化的方案,，就無法推動下一代智算中心的網絡方案和產品朝向產業(yè)化發(fā)展，而萬卡組網還將是網絡,、軟件、硬件等的系統(tǒng)協(xié)同創(chuàng)新,。

為什么系統(tǒng)創(chuàng)新對于大模型來說至關重要,？我們知道，GPT-3的訓練算法效率只有21%,，其余79%的算力都被浪費掉了。這是因為在大模型的大規(guī)模計算中,，單點效率非常有限，而系統(tǒng)的互聯(lián),、高效組織和協(xié)調、算法與互聯(lián)的優(yōu)化等變得越來越重要,。

大模型AI系統(tǒng)通過系統(tǒng)調優(yōu)所帶來的收益是巨大的：自2017年Transformer誕生以來至今，按照每18個月芯片性能翻一番的摩爾定律,，那么芯片性能只提升了8倍,，但人工智能計算的性能提升卻超過1000倍，這不僅源于芯片制程的優(yōu)化，更是整個系統(tǒng)的全面提升,。

毫無疑問，大模型2.0將推動人工智能和智算中心的系統(tǒng)創(chuàng)新,，以及從全自研走向新的工業(yè)標準化,。

如果說NVIDIA是封閉的“iOS”生態(tài)路線，那么以浪潮信息為代表的更多廠商將開創(chuàng) “Android”生態(tài)路線,，以應用為導向,、以系統(tǒng)為核心,，通過開源開放形成新的工業(yè)標準技術體系,，推動生成式AI的產業(yè)化，為全社會普遍釋放新的生產力,。

打響系統(tǒng)變革第一槍

在百年一遇的機遇面前,，浪潮信息作為服務器產業(yè)鏈的“鏈主”企業(yè)，必須要在挑戰(zhàn)面前迎難而上,，站在全新的維度思考下一代工業(yè)標準化的企業(yè)IT系統(tǒng)。

IPF 2024作為第十屆IPF大會,，也是浪潮信息全新亮相的一次盛會。在本次大會上,，浪潮信息從萬卡集群的AI算力系統(tǒng)角度,，推出了從大模型和平臺軟件到服務器,、網絡與存儲的全新系統(tǒng)產品與服務，為AI智算基礎設施的“Android”路線,，打響了第一槍,。

在IPF 2019上,，浪潮信息推出了“元腦”品牌，當時是浪潮信息的AI計算品牌,，主要承載以深度學習和機器學習為代表的人工智能全棧能力。

IPF 2024正逢大模型推動的通用人工智能時代,，浪潮信息總經理胡雷鈞在IPF 2024上表示，未來一切計算皆AI,，“元腦”全面升級為包括浪潮信息所有計算產品的智算品牌，同時“元腦”也是生態(tài)品牌,。

在“元腦”品牌統(tǒng)領下,，浪潮信息在IPF 2024上亮相了全新的面向大模型與生成式AI的智算系統(tǒng),，包括基礎大模型,、大模型開發(fā)平臺,、可運行千億參數(shù)大模型的AI通用服務器、面向萬卡集群的超級AI以太網交換機和大模型應用專用存儲,。

在基礎大模型方面，浪潮信息在2021年就發(fā)布2457億參數(shù)的“源1.0”中文語言大模型,，并全面開源。2023年成功研發(fā)并開源千億參數(shù)“源2.0”基礎大模型,，“源2.0”基礎大模型包含1026億,、518億、21億三種參數(shù)規(guī)模,，在代碼編程、邏輯推理、數(shù)學計算等多方面展示出了先進的能力,。

在前期推動大模型落地應用實踐中,，浪潮信息發(fā)現(xiàn)了諸多問題,，例如開發(fā)完大模型和生成式AI應用后,，經常又需要重新部署在新的芯片架構上,，適配難度大,、成本高企是常態(tài)。

為此,，浪潮信息發(fā)布了面向企業(yè)大模型開發(fā)的軟件平臺,，這就是“元腦企智EPAI（Enterprise Platform of AI，EPAI）”,。

EPAI為企業(yè)AI大模型落地應用提供高效、易用,、安全的端到端開發(fā)平臺，提供數(shù)據準備,、模型訓練,、知識檢索、應用框架等系列工具,，支持調度多元算力和多模算法,，幫助企業(yè)高效開發(fā)部署生成式AI應用,、打造智能生產力,。

EPAI解決了企業(yè)大模型和生成式AI應用開發(fā)流程復雜,、門檻高，以及多元多模適配難,、成本高等落地難題,。

在落地大模型與生成式AI應用方面，EPAI具有更高的生產力,，例如：

EPAI提供上億條基礎知識數(shù)據，同時提供自動化的數(shù)據處理工具,，幫助行業(yè)伙伴和企業(yè)客戶整理行業(yè)數(shù)據和專業(yè)數(shù)據,，生成高質量的微調數(shù)據和行業(yè)/企業(yè)知識庫，打造企業(yè)專屬數(shù)據資產,；

EPAI提供高效的微調工具，可支持千億參數(shù)模型面向產業(yè)知識的快速再學習,，并讓模型具備百萬Token的長文檔處理能力,，可以更好地適應具體行業(yè)場景下的任務需求,，快速打造領域大模型；

EPAI支持檢索增強生成（RAG）技術,，通過本地化檢索基礎知識+行業(yè)知識+企業(yè)知識,，能彌補微調大模型知識更新不及時的問題,，確保專業(yè)場景下大模型生成內容的準確性和可靠性,；

EPAI支持主流開源與閉源大模型的應用快速開發(fā)，提供面向多模和多元算力的計算框架,，能夠實現(xiàn)大模型應用在跨算力平臺上的無感遷移,，降低多模、多元的適配與試錯成本,；等等。

有了源基礎大模型和EPAI大模型開發(fā)平臺,，浪潮信息在算力方面繼續(xù)推進多樣化的AI算力服務器。

在IPF2024上,，浪潮信息與英特爾聯(lián)合發(fā)布了AI通用服務器，首款AI通用服務器NF8260G7在通用處理器平臺上首次實現(xiàn)單機可運行千億參數(shù)“源2.0”大模型,，靈活滿足AI大模型應用,，以及云,、數(shù)據庫等企業(yè)通用算力場景,，同時為企業(yè)提供智能和通用算力,。

針對大模型為數(shù)據中心帶來的網絡挑戰(zhàn),，浪潮信息在IPF 2024上發(fā)布了全新超級AI以太網交換機X400,，基于Spectrum-X,，相比傳統(tǒng)RoCE網絡，可實現(xiàn)業(yè)界最高以太網利用率達95%,，通信時延降低30%，性能提升至1.6倍,，無限接近InfiniBand,， NVIDIA Megatron-LM大模型訓練速度最高可以提升70%，大幅縮短訓練時長并降低訓練成本,。

面對大模型訓練和推理的存儲需求，浪潮信息認為要具備支持多協(xié)議,、高帶寬,、低延遲,、數(shù)據高效流轉等能力,，因此在IPF 2024上重磅發(fā)布面向大模型應用的專用存儲AS13000G7-N系列,，該系列是圍繞NVMe SSD高效適配和優(yōu)化的分布式存儲系統(tǒng),，能提供TB級帶寬,、千萬級IOPS、EB容量,，滿足大模型存儲在性能和容量方面的要求,。

從實戰(zhàn)中來、回到實戰(zhàn)中去

正如同NVIDIA耗費數(shù)年之功,，終在GTC 2024上推出產品化模塊化的智算中心,，從而定義了AI工業(yè)革命的“iOS時刻”；浪潮信息在IPF 2024上推出面向大模型與生成式AI的全棧AI智算基礎設施,，也是前期經歷了深入用戶場景實戰(zhàn),，最終將實踐成果匯聚成標準化的產品，再提供給更多用戶大規(guī)模實踐,，從而打開了AI工業(yè)革命的“安卓時刻”,。

在IPF 2024上,，浪潮信息AI軟件研發(fā)總監(jiān)吳韶華介紹,，大模型在行業(yè)應用中落地會遇到很多挑戰(zhàn)，例如需要獲得專業(yè)知識,，而專業(yè)或行業(yè)/企業(yè)數(shù)據的處理難度很高——不僅數(shù)據種類多樣,，而且分散在企業(yè)內部不同的環(huán)節(jié)和部門。

如果企業(yè)從頭開始構建一個完整的大模型應用,，首先需要整理數(shù)據搭建知識庫與微調數(shù)據,，再結合數(shù)據進行大模型微調,，為了不斷更新專業(yè)知識還需引入知識檢索技術，同時大模型的部署和應用落地還需要管理內部的算力資源,，上線后形成一套完整的大系統(tǒng)后還要進行運維……

“這套流程包括多個環(huán)節(jié)，流程門檻高,、技術門檻高,，對任何一個想從零開始構建的新團隊,，最大的可能就是走到中間就放棄了”,，吳韶華對于大模型實戰(zhàn)之難深有體會,。

EPAI的誕生就汲取了浪潮信息團隊所踩過的坑。

其中一種“坑”,，就是在大模型開發(fā)完畢,，運行一段時間后，可能會需要重新部署到新的芯片架構上,，例如切換到新的加速芯片上或現(xiàn)有加速芯片的代際升級等，這個過程基本上就重構了底層硬件,，適配難度非常大，成本也很高,。

在這個過程中，浪潮信息越來越深刻地感覺到,，如果能有面向企業(yè)用戶的大模型開發(fā)軟件平臺,，對用戶來說無疑具有很高的價值,。于是,，浪潮信息在2022年孵化了EPAI軟件的原形,，之后一直迭代至今,。

在服務器硬件方面,，浪潮信息通過硬件解耦,、構建通用軟件代碼庫等,，實現(xiàn)了x86,、ARM,、Power等不同架構處理器的優(yōu)化適配,，為用戶業(yè)務場景打造最適合的算力系統(tǒng),。

面向AI大模型訓練及推理場景,，浪潮信息NF5698G7支持15種基于OAM標準的開放加速芯片,，并為用戶構建了一個千卡液冷集群,，支持超千億參數(shù)量的AI大模型訓練。

浪潮信息AI通用服務器NF8260G7在2U空間支持4顆英特爾處理器,，支持AMX等AI加速功能,，內存帶寬1200GB/S,，全鏈路UPI總線互連,、傳輸速率高達16GT/s,，滿足千億大模型低延時要求。

而工程師在精度幾乎無損情況下,，將1026億參數(shù)的源2.0大模型進行NF4歸一化數(shù)據量化，模型容量縮小至1/4,，并通過 DeepSpeed 張量并行，將參數(shù)均分到4顆CPU上運行,，提升4倍的計算效率，業(yè)界首次實現(xiàn)基于CPU處理器的千億參數(shù)模型推理,。

浪潮信息之所以選擇打造超級AI以太網交換機而不是專用網絡，是因為專用網絡需要獨立組網,、部署和運維難度較大，隨著千億參數(shù)的AI大模型從大規(guī)模集群訓練轉向訓練與推理一體化,，數(shù)據中心用戶需要構建基于云的大規(guī)模分布式集群，在提供高性能網絡的同時還要滿足AI大模型用戶的多租戶,、多任務負載,，高性能超級AI以太網絡就成為最優(yōu)選擇,。

經過實測，配置2048塊GPU的集群訓練220億參數(shù)的大模型,，訓練數(shù)據集為3.5TB，采用以太,、超級AI以太和專用網絡三種網絡,，集群運行效率分別為62.5%、99.8%和100%,，超級AI以太網絡性能提升至傳統(tǒng)以太網的1.6倍,。

大模型訓練推理過程中的數(shù)據處理是另一個實戰(zhàn)難題,。

例如：在數(shù)據準備階段,，通常原始數(shù)據量大,、來源廣泛、格式多樣,，篩選和清洗出高質量數(shù)據變得尤為困難,，數(shù)百TB的數(shù)據預處理往往耗費十幾天時間,，讓客戶無法忍受,；而在模型訓練階段,，訓練前的海量小文件數(shù)據加載、訓練中斷后高效拉起Checkpoint數(shù)據,，都對IO處理效率提出更加嚴苛的要求；同時,，多個數(shù)據資源池無法互通、訓練結束后的海量冷數(shù)據如何歸檔等也是難題,。

因此,，浪潮信息認為面向大模型應用的存儲要具備支持多協(xié)議,、高帶寬、低延遲,、數(shù)據高效流轉等能力,，并推出了專業(yè)存儲AS13000G7-N系列。

憑什么推動新技術浪潮,？

對于浪潮信息,，很多人的印象是：全球第一的AI服務器廠商，全球第二,、中國第一服務器廠商,，全球前三存儲廠商,，中國第一的液冷服務器廠商……總而言之就是硬件廠商。

但對于“iOS”或“Android”的鏈主企業(yè)蘋果和谷歌而言,，軟件與服務才是最大的創(chuàng)新力,。如果要推動萬億參數(shù)、萬卡集群大模型時代的AI智算基礎設施“Android”路線,，浪潮信息就必須具備強大的軟件能力與硬件能力,，同時還要不斷打造開源開放社區(qū)領導力。

打造自己的軟實力和開放開源社區(qū)領導力,，是浪潮信息在近來年一直在埋頭苦干的方向,。

在軟實力方面,，浪潮信息自研的算法模型,，正在從以單模態(tài)、自監(jiān)督學習為特征的第二階段,，向以多模態(tài),、自監(jiān)督學習為特征的第三階段演進，提出了面向大模型的智能算法,，精度持續(xù)提升,。

“源2.0”大模型采用全面開放開源策略,，全系列模型參數(shù)和代碼均可免費下載使用,。

浪潮信息在“源2.0”的研發(fā)過程中，針對算法,、數(shù)據和計算方面進行了創(chuàng)新,。

浪潮信息在源2.0的算法層面提出一個新型的注意力結構——局部增強的注意力機制（LFA），這種注意力機制不僅能夠全面考慮自然語言里長序列之間的相互關系和影響,，而且更加準確捕獲自然語言中局部性的依賴,。

基于LFA結構的算法創(chuàng)新，源2.0探索出一個在有限算力資源,、有限數(shù)據質量,、有限參數(shù)規(guī)模的情況下,，提升模型精度的新方向，雖然最大參數(shù)量只有千億,，但是能夠在數(shù)理邏輯,、代碼生成、知識問答,、中英文翻譯,、語義理解等方面實現(xiàn)高水平表現(xiàn)。

在源2.0的預訓練階段,，使用了書籍,、百科、論文等高質量中英文資料,，并結合高效的數(shù)據清洗流程,，為大模型訓練提供了高質量的專業(yè)數(shù)據集和邏輯推理數(shù)據集。為了更高效地獲得中文數(shù)學數(shù)據和代碼數(shù)據,，采用了基于大模型的數(shù)據生產及過濾方法,，確保數(shù)據多樣性的同時提高了數(shù)據質量。

源2.0大模型采用非均勻流水并行方法,，綜合運用流水線并行+優(yōu)化器參數(shù)并行+數(shù)據并行策略,，讓模型在流水并行各階段的顯存占用量分布更均衡，避免出現(xiàn)顯存瓶頸導致的訓練效率降低的問題,。

該方法顯著降低了大模型對芯片間P2P帶寬的需求，能夠打破傳統(tǒng)大模型訓練對于高性能,、高帶寬的算力要求,，讓AI大模型在有限算力水平上實現(xiàn)更多智能涌現(xiàn)。

從2021年至今,，浪潮信息通過自研大模型的開源開放,，推動了整個大模型行業(yè)的創(chuàng)新力。

例如,，浪潮信息開放了1TB高質量的數(shù)據集,，該數(shù)據集已經支撐了超過50家大模型企業(yè)的研發(fā)；目前“源開發(fā)者社區(qū)”已匯聚了近萬名高水平開發(fā)者,，孵化出眾多創(chuàng)新應用,；“源 2.0”的開源開放，有望進一步化解大模型落地的算力,、算法,、數(shù)據挑戰(zhàn)。

在AI軟件基礎設施層面,，浪潮信息開發(fā)了大模型智算軟件棧OGAI (Open GenAI Infra),，為大模型業(yè)務提供AI算力系統(tǒng)環(huán)境部署,、算力調度保障、模型開發(fā)管理和模型應用創(chuàng)新能力,。

其中,，浪潮信息AIStation智能業(yè)務生產創(chuàng)新平臺是浪潮信息面向企業(yè)人工智能開發(fā)與推理場景的高效人工智能資源平臺，實現(xiàn)了算力的統(tǒng)一調度和模型開發(fā),、訓練,、測試、發(fā)布的全流程一站式高效交付,，為環(huán)境構建,、模型開發(fā)、模型訓練,、模型評估,、模型部署全鏈路全面提速,，加快AI開發(fā)應用創(chuàng)新。

在算力層面,，浪潮信息通過深度參與和領導開源開放計算社區(qū),，推動面向AI的新工業(yè)標準體系,。作為 OCP,、ODCC、Open19全球三大開放計算組織的核心成員,，以及OCTC開放計算標準工作委員會的創(chuàng)始成員,，浪潮信息是唯一一家同時加入全球四大開放計算組織的服務器供應商,。

目前,，浪潮信息已積極參與面向 AI,、邊緣等標準規(guī)范的建立,，并牽頭服務器全部國標,、OAM規(guī)范,、天蝎標準,、邊緣OTII規(guī)范,、OpenBMC、OpenRMC管理標準等,。

值得一提的是,，芯片多元化,、芯片生態(tài)割裂化是發(fā)展工業(yè)標準化AI算力基礎設施的重大挑戰(zhàn),，浪潮信息從2018年就開始推進開放加速規(guī)范（OAM）和產品技術創(chuàng)新,。

OAM是開放組織提出的異構計算加速芯片互聯(lián)開放標準，很多AI芯片廠商都基于OAM開發(fā)芯片,，符合OAM標準的芯片可以在一臺機器上運行,，極大降低了產業(yè)創(chuàng)新難度、技術創(chuàng)新試錯成本和適配成本,、促進了算力創(chuàng)新,，浪潮信息在2023年面向全行業(yè)公布了《開放加速規(guī)范AI服務器設計指南》,，大幅縮短AI加速卡與AI服務器的適配周期,。

面向加速計算的大趨勢，浪潮信息已經進行了大量研發(fā),、創(chuàng)新和開源開放社區(qū)工作,，遠遠走出了服務器硬件廠商的“舒適區(qū)”,。

例如,，浪潮信息在全球系統(tǒng)性能評測標準組織SPEC中,，擔任開放系統(tǒng)指導委員會（Open System Steering Committee，即 OSSC）委員,，并連任SPEC ML（Machine Learning）技術委員會主席,，致力于AI相關行業(yè)基準測試工作的開展，這些都突破了業(yè)界對于硬件廠商的刻板印象,。

總結而言：浪潮信息已經從AI智算產業(yè)后端走向了前臺，正在匯聚起大算力和大模型時代的AI智算基礎設施“Android”路線領導力,。如果說蘋果和谷歌是智能手機產業(yè)的兩大鏈主企業(yè),，那么NVIDIA和浪潮信息就有望成為AI智算基礎設施產業(yè)的兩大新鏈主企業(yè)——NVIDIA主打封閉的自主技術路線、浪潮信息則有望領導開源開放的新工業(yè)標準技術體系,，引發(fā)AI工業(yè)變革的“iOS時刻”和“安卓時刻”同時出現(xiàn),，必將加速AI奇點時刻到來，真正打開人類的AI時代大門,。（文/寧川）