來源：至頂網(wǎng)
短于內(nèi)核,，長于線程和矩陣數(shù)學(xué)
作者：Tobias Mann
更新時間：協(xié)調(diào)世界時2024 年 5 月 7 日（星期二）20:39
IBM不甘被排除在人工智能基礎(chǔ)架構(gòu)的游戲之外,，于本周二推出了一對微小的Power 10服務(wù)器,，瞄準(zhǔn)網(wǎng)絡(luò)邊緣的數(shù)據(jù)處理,。
Power S1012系統(tǒng)既有PC風(fēng)格的塔式配置,，也有更為傳統(tǒng)的2U半寬機(jī)架式機(jī)箱,。兩款系統(tǒng)均可配備IBM自主研發(fā)的Power 10處理器,，支持1核,、4核或8核,，板載內(nèi)存最高可達(dá)256GB。
雖然與英特爾和AMD邊緣-中心芯片（最多可配備64個內(nèi)核）相比,，這聽起來并不算多,，但值得注意的是，IBM的Power平臺基于RISC架構(gòu),，優(yōu)先處理高線程工作負(fù)載,，支持SMT4或SMT8。
這意味著這些系統(tǒng)中使用的Power 10 eSCM模塊每個內(nèi)核最多可支持8個線程，最高配置可支持64個線程,。
IBM宣稱其新服務(wù)器的性能是即將推出的Power S814的三倍,，這聽起來似乎令人印象深刻，不過想一想,，該系統(tǒng)基于的Power 8平臺已有10年歷史,。不過話說回來，Power 10系列也不是新丁,，它也將在9月份迎來三周歲生日,。
IBM設(shè)想將這些系統(tǒng)部署在多種場景中，包括在空間或功率受限的邊緣部署中進(jìn)行人工智能推理，或在遠(yuǎn)程或后臺辦公場景中運(yùn)行更傳統(tǒng)的工作負(fù)載,。
其主要思路似乎是,，就地處理從邊緣流入的所有數(shù)據(jù)流，而不是將其全部送回中央數(shù)據(jù)中心,，客戶可以通過這種方式減少延遲并抑制帶寬消耗,。
從表面上看，IBM 瞄準(zhǔn)的是現(xiàn)有的Power 客戶,，他們熟悉與 SMT 重型架構(gòu)相關(guān)的特定硬件和軟件細(xì)微差別,。分析管理商Equitus就是這些客戶中的一員，IBM稱該公司已經(jīng)在使用這些系統(tǒng),，在邊緣運(yùn)行人工智能模型,。
至于IBM是如何處理這些人工智能工作負(fù)載的，可能與你想象的大相徑庭,。據(jù)我們所知,，這些系統(tǒng)并沒有配備IBM在公告中沒有提到的GPU。相反，IBM 似乎依靠處理器的矩陣數(shù)學(xué)加速器（MMA）來完成繁重的工作,，每個內(nèi)核都內(nèi)置了四個矩陣數(shù)學(xué)加速器,。
在很多方面，這些 MMA都讓人想起英特爾2023年起推出的第四代和第五代Xeon Scalable平臺中的AMX引擎,。正如我們最近探討過的，這些引擎完全有能力運(yùn)行規(guī)模在70億到130億參數(shù)之間的小型大語言模型,。
除了MMA之外,，IBM還強(qiáng)調(diào)了對透明內(nèi)存加密的支持，以保護(hù)進(jìn)出設(shè)備上人工智能模型的數(shù)據(jù),?？紤]到這些系統(tǒng)很可能部署在安全性或監(jiān)管有限的遠(yuǎn)程位置，這很可能是一個受歡迎的功能,，尤其是對于那些受到高度監(jiān)管的行業(yè),。
S1012系統(tǒng)將于6月14日開始發(fā)售。
另：IBM 剛剛向開源世界發(fā)布了一系列代碼生成模型,，該公司表示：“我們的目標(biāo)是讓代碼生成對于盡可能多的開發(fā)人員變得盡可能的簡單,。”
免責(zé)聲明：本文來自網(wǎng)絡(luò)收錄或投稿,，觀點(diǎn)僅代表作者本人,，不代表芒果財經(jīng)贊同其觀點(diǎn)或證實(shí)其描述，版權(quán)歸原作者所有,。轉(zhuǎn)載請注明出處：http://lequren.com/1101075.html
溫馨提示：投資有風(fēng)險,，入市須謹(jǐn)慎。本資訊不作為投資理財建議,。
