近日,，全球“AI芯片獨角獸”們接連發(fā)布公司和產(chǎn)品新進展。Groq宣稱,，其推出的Groq Chip推理效率是英偉達H100的10倍,，并在社交媒體上引發(fā)熱議；被譽為“小英偉達”的Astera Labs于當?shù)貢r間3月20日在美國納斯達克上市,，當前總市值達104.3億美元,。

在當前的AI芯片市場，英偉達乘上東風(fēng)先拔頭籌,，AMD和英特爾緊追不舍,，谷歌和微軟等云服務(wù)商紛紛加入自研行列。在越發(fā)激烈的競爭中,，新入局的“AI芯片獨角獸”只能孵化自己的力量,，摸索出合適的生存和盈利路徑。

產(chǎn)品定位：訓(xùn)練還是推理,？

推理是更受AI芯片初創(chuàng)企業(yè)青睞的應(yīng)用場景,。

OpenAI CEO山姆·奧特曼在2023年年底陷入“宮斗風(fēng)波”時傳出將投資一家AI芯片公司，后又爆出將花費5100萬美元購買Rain AI公司基于RISC-V架構(gòu)的NPU用于邊緣側(cè)的人工智能推理,；Etched.ai針對大語言模型推出的ASIC芯片專注于AI推理,；MatX在官方網(wǎng)站上表示“我們專注于低成本進行大模型預(yù)訓(xùn)練和推理”，同時補充道：“推理優(yōu)先”。

推理成為大多數(shù)初創(chuàng)企業(yè)的共同選擇,，這背后是對訓(xùn)練和推理兩種不同場景市場增量的考量,。

在訓(xùn)練方面，芯片企業(yè)的下游客戶,，即通過購買GPU或算力芯片進行大模型訓(xùn)練的AI市場存在飽和風(fēng)險。

對于新的AI企業(yè)來說,，參與大模型競爭的門檻正在提高,。在通用大模型“狂野生長”的過程中，訓(xùn)練數(shù)據(jù)不斷膨脹,，參數(shù)量級也越來越大,，這也意味著訓(xùn)練需要AI企業(yè)籌備更多數(shù)量的算力芯片，“萬卡起步”的算力門檻將導(dǎo)致未來的大模型格局走向寡頭競爭的收斂階段——能否像埃隆·馬斯克一樣投入5億美元用于購入上萬塊英偉達H100對自家的大模型或聊天機器人進行訓(xùn)練？這是所有AI企業(yè)在入局之前都需要評估的問題,。

對于已經(jīng)具備一定規(guī)模的云服務(wù)商而言,，它們是擁有更多選擇的一方。如谷歌,、微軟等具有深厚軟件開發(fā)技術(shù)和資金支持的企業(yè)還可選擇自研算力芯片,，且更加適配自家AI產(chǎn)品。

相比于訓(xùn)練,，AI芯片初創(chuàng)企業(yè)在推理上的機會更多,。在從“煉大模型”向“用大模型”的轉(zhuǎn)變過程里，使用8塊英偉達H100或AMD MI300進行推理的性價比較低,，也存在延遲和能源消耗等問題,，這些都成為下游云服務(wù)商在推理環(huán)節(jié)關(guān)注的重點。小體量的芯片初創(chuàng)企業(yè)可以通過這些痛點打開突破口,，從而在激烈競爭中找到一席之地,。

當然，并非所有企業(yè)都只聚焦于推理,，部分企業(yè)正在嘗試用其他方式來解決大模型訓(xùn)練所帶來的問題,。相較于GPU這種已經(jīng)成熟的解決方案，幾家企業(yè)在訓(xùn)練上呈現(xiàn)的思路更具想象力,。

Cerebras Systems推出一款體積巨大的芯片WSE-3,。據(jù)了解，WSE-3擁有超過4萬億個晶體管和46225mm2的硅片面積,，相比于通過NVLink連接8塊或者更多的H100,，保持完整性可以降低互連成本和功耗。

Extropic希望通過熱力學(xué)和信息技術(shù)來構(gòu)建AI超級計算機,，目前該計算機已經(jīng)進入到硬件組裝階段,。Lightmatter推出了光子處理器Envise。相較于傳統(tǒng)的硅基芯片,，光子處理器可以在高功耗和高性能中達成平衡,。“人類正在為AI的發(fā)展投入大量能源,，而這種能源消耗正在迅速增加,，芯片技術(shù)也到了無法解決這個問題的地步?！盠ightmatter在官網(wǎng)上表示,。盡管在概念上天馬行空，但是兩家企業(yè)的產(chǎn)品距離落地還有一段時間,。

面對大廠：競爭還是合作,？

一個有趣的現(xiàn)象是，瞄準推理領(lǐng)域的企業(yè)紛紛將英偉達的產(chǎn)品成為對標的主要對象。AI芯片初創(chuàng)企業(yè)面臨的第二個問題是如何衡量與英偉達等大廠之間的關(guān)系,。

Etched.ai的ASIC芯片Sohu專為大模型推理設(shè)計。Etched.ai負責(zé)人表示：“通過將Transformer架構(gòu)刻錄到Sohu中,，我們正在創(chuàng)建世界上最強大的Transformer推理服務(wù)器,。”Etched.ai官網(wǎng)顯示,，在同樣使用8塊芯片的前提下,，Sohu的推理效率比H100和A100都要高。

Groq推出的LPU（語言處理器）宣稱其推理性能是H100的10倍,，且成本是H100的十分之一,。

d-Matrix的產(chǎn)品Corsair在與英偉達的對比中，不論是數(shù)據(jù)吞吐量,、時延,，還是成本方面都具有更好的表現(xiàn)。據(jù)了解,，Corsair使用PCIe5對8塊Chiplet進行互連,，擁有約1300億個晶體管，且Chiplet之間的帶寬達8TB/s,，最終可節(jié)約90%左右的成本,。“我們所有的硬件和軟件都是為了加速Transformer模型和生成式AI構(gòu)建的,?！眃-Matrix首席執(zhí)行官兼CEO表示。

在參與競爭之外,，也有企業(yè)選擇成為大廠的合作伙伴,，擔(dān)任供應(yīng)鏈中的一環(huán)。

成功上市的Astera Labs的產(chǎn)品聚焦于連接數(shù)據(jù)和內(nèi)存的器件,。Astera Labs創(chuàng)始人之一Jitendra Mohan認為,，隨著AI和機器學(xué)習(xí)的發(fā)展，除了算力,，數(shù)據(jù)連接也將是關(guān)鍵問題,。Astera Labs官網(wǎng)的自我介紹為“專為AI和云基礎(chǔ)設(shè)施構(gòu)建的連接”，其主要產(chǎn)品包括Aries PCIe/CXL智能定時器,、Leo內(nèi)存控制器,，以及Taurus有源智能電纜模塊，可幫助企業(yè)連接芯片,、存儲器和服務(wù)器,，從而構(gòu)建GPU算力集群。也正因此，英特爾,、谷歌,、亞馬遜等芯片和云服務(wù)商都將成為其潛在客戶。

在目前的市場環(huán)境中,，不論是與大廠直接競爭,，還是成為供應(yīng)鏈的一環(huán)，這些初創(chuàng)企業(yè)必須體現(xiàn)出自己的差異化特性才能保證存活,，換言之,，企業(yè)需要不斷創(chuàng)新。

事實證明,，當前的AI芯片領(lǐng)域正在涌現(xiàn)出更豐富的設(shè)計思路,。Etched.ai的Sohu選擇將Transformer架構(gòu)刻錄在芯片上（Etched意為“蝕刻”），Groq通過SRAM和TSP（張量流處理器）來提升推理效率,。新的設(shè)計理念層出不窮,，而差異化的創(chuàng)新不能止步于此，Sohu作為ASIC,，能否適應(yīng)Transformer架構(gòu)的優(yōu)化升級,，而Groq的芯片如何處理好此前飽受爭議的成本問題，還需時間和市場進一步檢驗,。

開發(fā)生態(tài)：自研還是聯(lián)合,？

如果說產(chǎn)品質(zhì)量決定了AI芯片初創(chuàng)企業(yè)能否站穩(wěn)腳跟，那么開發(fā)生態(tài)的完整度和牢固程度就將決定企業(yè)能否長遠發(fā)展,。

CUDA一直被視作英偉達的護城河,，CUDA在長年被使用的過程中已經(jīng)暗中抬高了開發(fā)者的遷移門檻。在3月英偉達禁止第三方硬件兼容CUDA之后,，其市場壟斷地位得到鞏固,。

面對當前的生態(tài)競爭，一方面,，初創(chuàng)企業(yè)正在嘗試自研,，d-Matrix推出開源軟件棧Aviator。據(jù)了解,，Aviator使用開源軟件,，使用戶能夠輕松部署模型，并將系統(tǒng)軟件集成到推理服務(wù)器中,，用于進程生成和擴展通信,。Modular發(fā)布Mojo編程語言，可支持CPU,、GPU,、TPU和ASIC等多種硬件的程序編寫,。

另一方面，AMD和英特爾的做法也能提供參考思路,。

AMD在生態(tài)上的考量是“方便開發(fā)者遷移和使用”,。ROCm平臺是AMD開發(fā)的開源計算平臺和生態(tài)系統(tǒng)，旨在為開發(fā)者提供一種跨平臺的編程模型,。ROCm提供了與CUDA相似的API與功能函數(shù)庫,，使得為英偉達GPU編寫的代碼只需稍加修改便可運行在AMD的GPU上，從而降低開發(fā)者將程序從CUDA轉(zhuǎn)移至ROCm的遷移成本,。

英特爾在去年9月聯(lián)合Arm、富士通,、谷歌,、Imagination、高通和三星等公司共同成立了UXL基金會（統(tǒng)一加速基金會）,，以聯(lián)盟化的形式構(gòu)建開放生態(tài),，此舉也被產(chǎn)業(yè)界視作想要擺脫英偉達CUDA生態(tài)壟斷的聯(lián)合行動。

“該基金會的目標是圍繞開放標準和開源軟件將加速器生態(tài)系統(tǒng)聯(lián)合起來,，以便開發(fā)人員可以構(gòu)建能夠針對多供應(yīng)商,、多架構(gòu)系統(tǒng)的應(yīng)用程序——現(xiàn)在和將來。如果您在編寫軟件時不需要考慮目標處理器,，那么我們已經(jīng)完成了我們的工作,。”UXL生態(tài)系統(tǒng)副總裁兼基金會指導(dǎo)委員會主席Rod Burns表示,。

據(jù)悉,，該基金會建立在oneAPI的項目規(guī)范之上，oneAPI是英特爾推出的開發(fā)者接口,?！霸撘?guī)范和項目由英特爾為基金會提供，涵蓋了開發(fā)人員編寫代碼時所需的基礎(chǔ)知識,。這些項目將在UXL基金會開放治理的原則下運作,，這意味著所有貢獻都得到平等對待，基金會成員在項目的未來方面也擁有公開提案和討論的發(fā)言權(quán),?！盧od Burns補充道。

4月10日凌晨,，隨著英特爾發(fā)布Gaudi 3,，AI芯片的競爭更加激烈，頭部公司“神仙打架”,，初創(chuàng)企業(yè)大浪淘沙,，就連英偉達CEO黃仁勛每天都在“擔(dān)心公司會不會倒閉”,。面對更加復(fù)雜的環(huán)境，“AI芯片獨角獸”們也在憑借自身韌性不斷探索,，求生,、求變、求富,。