近日,，全球“AI芯片獨角獸”們接連發(fā)布公司和產品新進展,。Groq宣稱，其推出的Groq Chip推理效率是英偉達H100的10倍,，并在社交媒體上引發(fā)熱議,；被譽為“小英偉達”的Astera Labs于當?shù)貢r間3月20日在美國納斯達克上市,，當前總市值達104.3億美元。

在當前的AI芯片市場,，英偉達乘上東風先拔頭籌,，AMD和英特爾緊追不舍，谷歌和微軟等云服務商紛紛加入自研行列,。在越發(fā)激烈的競爭中,，新入局的“AI芯片獨角獸”只能孵化自己的力量，摸索出合適的生存和盈利路徑,。

產品定位：訓練還是推理,？

推理是更受AI芯片初創(chuàng)企業(yè)青睞的應用場景。

OpenAI CEO山姆·奧特曼在2023年年底陷入“宮斗風波”時傳出將投資一家AI芯片公司,，后又爆出將花費5100萬美元購買Rain AI公司基于RISC-V架構的NPU用于邊緣側的人工智能推理,；Etched.ai針對大語言模型推出的ASIC芯片專注于AI推理；MatX在官方網站上表示“我們專注于低成本進行大模型預訓練和推理”,，同時補充道：“推理優(yōu)先”,。

推理成為大多數(shù)初創(chuàng)企業(yè)的共同選擇，這背后是對訓練和推理兩種不同場景市場增量的考量,。

在訓練方面,，芯片企業(yè)的下游客戶，即通過購買GPU或算力芯片進行大模型訓練的AI市場存在飽和風險,。

對于新的AI企業(yè)來說,，參與大模型競爭的門檻正在提高。在通用大模型“狂野生長”的過程中,，訓練數(shù)據(jù)不斷膨脹,，參數(shù)量級也越來越大，這也意味著訓練需要AI企業(yè)籌備更多數(shù)量的算力芯片,，“萬卡起步”的算力門檻將導致未來的大模型格局走向寡頭競爭的收斂階段——能否像埃隆·馬斯克一樣投入5億美元用于購入上萬塊英偉達H100對自家的大模型或聊天機器人進行訓練,？這是所有AI企業(yè)在入局之前都需要評估的問題。

對于已經具備一定規(guī)模的云服務商而言,，它們是擁有更多選擇的一方。如谷歌,、微軟等具有深厚軟件開發(fā)技術和資金支持的企業(yè)還可選擇自研算力芯片,，且更加適配自家AI產品。

相比于訓練,，AI芯片初創(chuàng)企業(yè)在推理上的機會更多,。在從“煉大模型”向“用大模型”的轉變過程里，使用8塊英偉達H100或AMD MI300進行推理的性價比較低,，也存在延遲和能源消耗等問題,，這些都成為下游云服務商在推理環(huán)節(jié)關注的重點,。小體量的芯片初創(chuàng)企業(yè)可以通過這些痛點打開突破口，從而在激烈競爭中找到一席之地,。

當然,，并非所有企業(yè)都只聚焦于推理，部分企業(yè)正在嘗試用其他方式來解決大模型訓練所帶來的問題,。相較于GPU這種已經成熟的解決方案,，幾家企業(yè)在訓練上呈現(xiàn)的思路更具想象力。

Cerebras Systems推出一款體積巨大的芯片WSE-3,。據(jù)了解,，WSE-3擁有超過4萬億個晶體管和46225mm2的硅片面積，相比于通過NVLink連接8塊或者更多的H100,，保持完整性可以降低互連成本和功耗,。

Extropic希望通過熱力學和信息技術來構建AI超級計算機，目前該計算機已經進入到硬件組裝階段,。Lightmatter推出了光子處理器Envise,。相較于傳統(tǒng)的硅基芯片，光子處理器可以在高功耗和高性能中達成平衡,?！叭祟愓跒锳I的發(fā)展投入大量能源，而這種能源消耗正在迅速增加,，芯片技術也到了無法解決這個問題的地步,。”Lightmatter在官網上表示,。盡管在概念上天馬行空,，但是兩家企業(yè)的產品距離落地還有一段時間。

面對大廠：競爭還是合作,？

一個有趣的現(xiàn)象是,，瞄準推理領域的企業(yè)紛紛將英偉達的產品成為對標的主要對象。AI芯片初創(chuàng)企業(yè)面臨的第二個問題是如何衡量與英偉達等大廠之間的關系,。

Etched.ai的ASIC芯片Sohu專為大模型推理設計,。Etched.ai負責人表示：“通過將Transformer架構刻錄到Sohu中，我們正在創(chuàng)建世界上最強大的Transformer推理服務器,?！盓tched.ai官網顯示，在同樣使用8塊芯片的前提下,，Sohu的推理效率比H100和A100都要高,。

Groq推出的LPU（語言處理器）宣稱其推理性能是H100的10倍，且成本是H100的十分之一。

d-Matrix的產品Corsair在與英偉達的對比中,，不論是數(shù)據(jù)吞吐量,、時延，還是成本方面都具有更好的表現(xiàn),。據(jù)了解,，Corsair使用PCIe5對8塊Chiplet進行互連，擁有約1300億個晶體管,，且Chiplet之間的帶寬達8TB/s,，最終可節(jié)約90%左右的成本?！拔覀兯械挠布蛙浖际菫榱思铀賂ransformer模型和生成式AI構建的,。”d-Matrix首席執(zhí)行官兼CEO表示,。

在參與競爭之外,，也有企業(yè)選擇成為大廠的合作伙伴，擔任供應鏈中的一環(huán),。

成功上市的Astera Labs的產品聚焦于連接數(shù)據(jù)和內存的器件,。Astera Labs創(chuàng)始人之一Jitendra Mohan認為，隨著AI和機器學習的發(fā)展,，除了算力,，數(shù)據(jù)連接也將是關鍵問題。Astera Labs官網的自我介紹為“專為AI和云基礎設施構建的連接”,，其主要產品包括Aries PCIe/CXL智能定時器,、Leo內存控制器，以及Taurus有源智能電纜模塊,，可幫助企業(yè)連接芯片,、存儲器和服務器，從而構建GPU算力集群,。也正因此,，英特爾、谷歌,、亞馬遜等芯片和云服務商都將成為其潛在客戶,。

在目前的市場環(huán)境中，不論是與大廠直接競爭,，還是成為供應鏈的一環(huán),，這些初創(chuàng)企業(yè)必須體現(xiàn)出自己的差異化特性才能保證存活，換言之,，企業(yè)需要不斷創(chuàng)新。

事實證明，當前的AI芯片領域正在涌現(xiàn)出更豐富的設計思路,。Etched.ai的Sohu選擇將Transformer架構刻錄在芯片上（Etched意為“蝕刻”）,，Groq通過SRAM和TSP（張量流處理器）來提升推理效率。新的設計理念層出不窮,，而差異化的創(chuàng)新不能止步于此,，Sohu作為ASIC，能否適應Transformer架構的優(yōu)化升級,，而Groq的芯片如何處理好此前飽受爭議的成本問題,，還需時間和市場進一步檢驗。

開發(fā)生態(tài)：自研還是聯(lián)合,？

如果說產品質量決定了AI芯片初創(chuàng)企業(yè)能否站穩(wěn)腳跟,，那么開發(fā)生態(tài)的完整度和牢固程度就將決定企業(yè)能否長遠發(fā)展。

CUDA一直被視作英偉達的護城河,，CUDA在長年被使用的過程中已經暗中抬高了開發(fā)者的遷移門檻,。在3月英偉達禁止第三方硬件兼容CUDA之后，其市場壟斷地位得到鞏固,。

面對當前的生態(tài)競爭,，一方面，初創(chuàng)企業(yè)正在嘗試自研,，d-Matrix推出開源軟件棧Aviator,。據(jù)了解，Aviator使用開源軟件,，使用戶能夠輕松部署模型,，并將系統(tǒng)軟件集成到推理服務器中，用于進程生成和擴展通信,。Modular發(fā)布Mojo編程語言,，可支持CPU、GPU,、TPU和ASIC等多種硬件的程序編寫,。

另一方面，AMD和英特爾的做法也能提供參考思路,。

AMD在生態(tài)上的考量是“方便開發(fā)者遷移和使用”,。ROCm平臺是AMD開發(fā)的開源計算平臺和生態(tài)系統(tǒng)，旨在為開發(fā)者提供一種跨平臺的編程模型,。ROCm提供了與CUDA相似的API與功能函數(shù)庫,，使得為英偉達GPU編寫的代碼只需稍加修改便可運行在AMD的GPU上，從而降低開發(fā)者將程序從CUDA轉移至ROCm的遷移成本,。

英特爾在去年9月聯(lián)合Arm,、富士通,、谷歌、Imagination,、高通和三星等公司共同成立了UXL基金會（統(tǒng)一加速基金會）,，以聯(lián)盟化的形式構建開放生態(tài)，此舉也被產業(yè)界視作想要擺脫英偉達CUDA生態(tài)壟斷的聯(lián)合行動,。

“該基金會的目標是圍繞開放標準和開源軟件將加速器生態(tài)系統(tǒng)聯(lián)合起來,，以便開發(fā)人員可以構建能夠針對多供應商、多架構系統(tǒng)的應用程序——現(xiàn)在和將來,。如果您在編寫軟件時不需要考慮目標處理器,，那么我們已經完成了我們的工作?！盪XL生態(tài)系統(tǒng)副總裁兼基金會指導委員會主席Rod Burns表示,。

據(jù)悉，該基金會建立在oneAPI的項目規(guī)范之上,，oneAPI是英特爾推出的開發(fā)者接口,。“該規(guī)范和項目由英特爾為基金會提供,，涵蓋了開發(fā)人員編寫代碼時所需的基礎知識,。這些項目將在UXL基金會開放治理的原則下運作，這意味著所有貢獻都得到平等對待,，基金會成員在項目的未來方面也擁有公開提案和討論的發(fā)言權,。”Rod Burns補充道,。

4月10日凌晨,，隨著英特爾發(fā)布Gaudi 3，AI芯片的競爭更加激烈,，頭部公司“神仙打架”,，初創(chuàng)企業(yè)大浪淘沙，就連英偉達CEO黃仁勛每天都在“擔心公司會不會倒閉”,。面對更加復雜的環(huán)境,，“AI芯片獨角獸”們也在憑借自身韌性不斷探索，求生,、求變,、求富。