近日,，全球“AI芯片獨(dú)角獸”們接連發(fā)布公司和產(chǎn)品新進(jìn)展,。Groq宣稱,，其推出的Groq Chip推理效率是英偉達(dá)H100的10倍,，并在社交媒體上引發(fā)熱議,；被譽(yù)為“小英偉達(dá)”的Astera Labs于當(dāng)?shù)貢r(shí)間3月20日在美國(guó)納斯達(dá)克上市,，當(dāng)前總市值達(dá)104.3億美元,。

在當(dāng)前的AI芯片市場(chǎng),，英偉達(dá)乘上東風(fēng)先拔頭籌，AMD和英特爾緊追不舍,，谷歌和微軟等云服務(wù)商紛紛加入自研行列,。在越發(fā)激烈的競(jìng)爭(zhēng)中，新入局的“AI芯片獨(dú)角獸”只能孵化自己的力量,，摸索出合適的生存和盈利路徑,。

產(chǎn)品定位：訓(xùn)練還是推理？

推理是更受AI芯片初創(chuàng)企業(yè)青睞的應(yīng)用場(chǎng)景,。

OpenAI CEO山姆·奧特曼在2023年年底陷入“宮斗風(fēng)波”時(shí)傳出將投資一家AI芯片公司,，后又爆出將花費(fèi)5100萬(wàn)美元購(gòu)買(mǎi)Rain AI公司基于RISC-V架構(gòu)的NPU用于邊緣側(cè)的人工智能推理；Etched.ai針對(duì)大語(yǔ)言模型推出的ASIC芯片專(zhuān)注于AI推理,；MatX在官方網(wǎng)站上表示“我們專(zhuān)注于低成本進(jìn)行大模型預(yù)訓(xùn)練和推理”,，同時(shí)補(bǔ)充道：“推理優(yōu)先”。

推理成為大多數(shù)初創(chuàng)企業(yè)的共同選擇,，這背后是對(duì)訓(xùn)練和推理兩種不同場(chǎng)景市場(chǎng)增量的考量,。

在訓(xùn)練方面，芯片企業(yè)的下游客戶,，即通過(guò)購(gòu)買(mǎi)GPU或算力芯片進(jìn)行大模型訓(xùn)練的AI市場(chǎng)存在飽和風(fēng)險(xiǎn),。

對(duì)于新的AI企業(yè)來(lái)說(shuō)，參與大模型競(jìng)爭(zhēng)的門(mén)檻正在提高,。在通用大模型“狂野生長(zhǎng)”的過(guò)程中,，訓(xùn)練數(shù)據(jù)不斷膨脹，參數(shù)量級(jí)也越來(lái)越大,，這也意味著訓(xùn)練需要AI企業(yè)籌備更多數(shù)量的算力芯片,，“萬(wàn)卡起步”的算力門(mén)檻將導(dǎo)致未來(lái)的大模型格局走向寡頭競(jìng)爭(zhēng)的收斂階段——能否像埃隆·馬斯克一樣投入5億美元用于購(gòu)入上萬(wàn)塊英偉達(dá)H100對(duì)自家的大模型或聊天機(jī)器人進(jìn)行訓(xùn)練？這是所有AI企業(yè)在入局之前都需要評(píng)估的問(wèn)題,。

對(duì)于已經(jīng)具備一定規(guī)模的云服務(wù)商而言,，它們是擁有更多選擇的一方。如谷歌,、微軟等具有深厚軟件開(kāi)發(fā)技術(shù)和資金支持的企業(yè)還可選擇自研算力芯片,，且更加適配自家AI產(chǎn)品。

相比于訓(xùn)練,，AI芯片初創(chuàng)企業(yè)在推理上的機(jī)會(huì)更多,。在從“煉大模型”向“用大模型”的轉(zhuǎn)變過(guò)程里，使用8塊英偉達(dá)H100或AMD MI300進(jìn)行推理的性價(jià)比較低,，也存在延遲和能源消耗等問(wèn)題,，這些都成為下游云服務(wù)商在推理環(huán)節(jié)關(guān)注的重點(diǎn)。小體量的芯片初創(chuàng)企業(yè)可以通過(guò)這些痛點(diǎn)打開(kāi)突破口,，從而在激烈競(jìng)爭(zhēng)中找到一席之地,。

當(dāng)然,，并非所有企業(yè)都只聚焦于推理，部分企業(yè)正在嘗試用其他方式來(lái)解決大模型訓(xùn)練所帶來(lái)的問(wèn)題,。相較于GPU這種已經(jīng)成熟的解決方案,，幾家企業(yè)在訓(xùn)練上呈現(xiàn)的思路更具想象力。

Cerebras Systems推出一款體積巨大的芯片WSE-3,。據(jù)了解,，WSE-3擁有超過(guò)4萬(wàn)億個(gè)晶體管和46225mm2的硅片面積，相比于通過(guò)NVLink連接8塊或者更多的H100,，保持完整性可以降低互連成本和功耗,。

Extropic希望通過(guò)熱力學(xué)和信息技術(shù)來(lái)構(gòu)建AI超級(jí)計(jì)算機(jī)，目前該計(jì)算機(jī)已經(jīng)進(jìn)入到硬件組裝階段,。Lightmatter推出了光子處理器Envise,。相較于傳統(tǒng)的硅基芯片，光子處理器可以在高功耗和高性能中達(dá)成平衡,。“人類(lèi)正在為AI的發(fā)展投入大量能源,，而這種能源消耗正在迅速增加,，芯片技術(shù)也到了無(wú)法解決這個(gè)問(wèn)題的地步?！盠ightmatter在官網(wǎng)上表示,。盡管在概念上天馬行空，但是兩家企業(yè)的產(chǎn)品距離落地還有一段時(shí)間,。

面對(duì)大廠：競(jìng)爭(zhēng)還是合作,？

一個(gè)有趣的現(xiàn)象是，瞄準(zhǔn)推理領(lǐng)域的企業(yè)紛紛將英偉達(dá)的產(chǎn)品成為對(duì)標(biāo)的主要對(duì)象,。AI芯片初創(chuàng)企業(yè)面臨的第二個(gè)問(wèn)題是如何衡量與英偉達(dá)等大廠之間的關(guān)系,。

Etched.ai的ASIC芯片Sohu專(zhuān)為大模型推理設(shè)計(jì)。Etched.ai負(fù)責(zé)人表示：“通過(guò)將Transformer架構(gòu)刻錄到Sohu中,，我們正在創(chuàng)建世界上最強(qiáng)大的Transformer推理服務(wù)器,。”Etched.ai官網(wǎng)顯示,，在同樣使用8塊芯片的前提下,，Sohu的推理效率比H100和A100都要高。

Groq推出的LPU（語(yǔ)言處理器）宣稱其推理性能是H100的10倍,，且成本是H100的十分之一,。

d-Matrix的產(chǎn)品Corsair在與英偉達(dá)的對(duì)比中，不論是數(shù)據(jù)吞吐量,、時(shí)延,，還是成本方面都具有更好的表現(xiàn),。據(jù)了解，Corsair使用PCIe5對(duì)8塊Chiplet進(jìn)行互連,，擁有約1300億個(gè)晶體管,，且Chiplet之間的帶寬達(dá)8TB/s，最終可節(jié)約90%左右的成本,?！拔覀兯械挠布蛙浖际菫榱思铀賂ransformer模型和生成式AI構(gòu)建的?！眃-Matrix首席執(zhí)行官兼CEO表示,。

在參與競(jìng)爭(zhēng)之外，也有企業(yè)選擇成為大廠的合作伙伴,，擔(dān)任供應(yīng)鏈中的一環(huán),。

成功上市的Astera Labs的產(chǎn)品聚焦于連接數(shù)據(jù)和內(nèi)存的器件。Astera Labs創(chuàng)始人之一Jitendra Mohan認(rèn)為,，隨著AI和機(jī)器學(xué)習(xí)的發(fā)展,，除了算力，數(shù)據(jù)連接也將是關(guān)鍵問(wèn)題,。Astera Labs官網(wǎng)的自我介紹為“專(zhuān)為AI和云基礎(chǔ)設(shè)施構(gòu)建的連接”,，其主要產(chǎn)品包括Aries PCIe/CXL智能定時(shí)器、Leo內(nèi)存控制器,，以及Taurus有源智能電纜模塊,，可幫助企業(yè)連接芯片、存儲(chǔ)器和服務(wù)器,，從而構(gòu)建GPU算力集群,。也正因此，英特爾,、谷歌,、亞馬遜等芯片和云服務(wù)商都將成為其潛在客戶。

在目前的市場(chǎng)環(huán)境中,，不論是與大廠直接競(jìng)爭(zhēng),，還是成為供應(yīng)鏈的一環(huán)，這些初創(chuàng)企業(yè)必須體現(xiàn)出自己的差異化特性才能保證存活,，換言之,，企業(yè)需要不斷創(chuàng)新。

事實(shí)證明,，當(dāng)前的AI芯片領(lǐng)域正在涌現(xiàn)出更豐富的設(shè)計(jì)思路,。Etched.ai的Sohu選擇將Transformer架構(gòu)刻錄在芯片上（Etched意為“蝕刻”），Groq通過(guò)SRAM和TSP（張量流處理器）來(lái)提升推理效率,。新的設(shè)計(jì)理念層出不窮,，而差異化的創(chuàng)新不能止步于此,，Sohu作為ASIC，能否適應(yīng)Transformer架構(gòu)的優(yōu)化升級(jí),，而Groq的芯片如何處理好此前飽受爭(zhēng)議的成本問(wèn)題,，還需時(shí)間和市場(chǎng)進(jìn)一步檢驗(yàn)。

開(kāi)發(fā)生態(tài)：自研還是聯(lián)合,？

如果說(shuō)產(chǎn)品質(zhì)量決定了AI芯片初創(chuàng)企業(yè)能否站穩(wěn)腳跟,，那么開(kāi)發(fā)生態(tài)的完整度和牢固程度就將決定企業(yè)能否長(zhǎng)遠(yuǎn)發(fā)展。

CUDA一直被視作英偉達(dá)的護(hù)城河,，CUDA在長(zhǎng)年被使用的過(guò)程中已經(jīng)暗中抬高了開(kāi)發(fā)者的遷移門(mén)檻,。在3月英偉達(dá)禁止第三方硬件兼容CUDA之后，其市場(chǎng)壟斷地位得到鞏固,。

面對(duì)當(dāng)前的生態(tài)競(jìng)爭(zhēng),，一方面，初創(chuàng)企業(yè)正在嘗試自研,，d-Matrix推出開(kāi)源軟件棧Aviator,。據(jù)了解，Aviator使用開(kāi)源軟件,，使用戶能夠輕松部署模型,，并將系統(tǒng)軟件集成到推理服務(wù)器中，用于進(jìn)程生成和擴(kuò)展通信,。Modular發(fā)布Mojo編程語(yǔ)言，可支持CPU,、GPU,、TPU和ASIC等多種硬件的程序編寫(xiě)。

另一方面,，AMD和英特爾的做法也能提供參考思路,。

AMD在生態(tài)上的考量是“方便開(kāi)發(fā)者遷移和使用”。ROCm平臺(tái)是AMD開(kāi)發(fā)的開(kāi)源計(jì)算平臺(tái)和生態(tài)系統(tǒng),，旨在為開(kāi)發(fā)者提供一種跨平臺(tái)的編程模型,。ROCm提供了與CUDA相似的API與功能函數(shù)庫(kù)，使得為英偉達(dá)GPU編寫(xiě)的代碼只需稍加修改便可運(yùn)行在AMD的GPU上,，從而降低開(kāi)發(fā)者將程序從CUDA轉(zhuǎn)移至ROCm的遷移成本,。

英特爾在去年9月聯(lián)合Arm、富士通,、谷歌,、Imagination、高通和三星等公司共同成立了UXL基金會(huì)（統(tǒng)一加速基金會(huì)）,，以聯(lián)盟化的形式構(gòu)建開(kāi)放生態(tài),，此舉也被產(chǎn)業(yè)界視作想要擺脫英偉達(dá)CUDA生態(tài)壟斷的聯(lián)合行動(dòng),。

“該基金會(huì)的目標(biāo)是圍繞開(kāi)放標(biāo)準(zhǔn)和開(kāi)源軟件將加速器生態(tài)系統(tǒng)聯(lián)合起來(lái)，以便開(kāi)發(fā)人員可以構(gòu)建能夠針對(duì)多供應(yīng)商,、多架構(gòu)系統(tǒng)的應(yīng)用程序——現(xiàn)在和將來(lái),。如果您在編寫(xiě)軟件時(shí)不需要考慮目標(biāo)處理器，那么我們已經(jīng)完成了我們的工作,?！盪XL生態(tài)系統(tǒng)副總裁兼基金會(huì)指導(dǎo)委員會(huì)主席Rod Burns表示。

據(jù)悉,，該基金會(huì)建立在oneAPI的項(xiàng)目規(guī)范之上,，oneAPI是英特爾推出的開(kāi)發(fā)者接口?！霸撘?guī)范和項(xiàng)目由英特爾為基金會(huì)提供,，涵蓋了開(kāi)發(fā)人員編寫(xiě)代碼時(shí)所需的基礎(chǔ)知識(shí)。這些項(xiàng)目將在UXL基金會(huì)開(kāi)放治理的原則下運(yùn)作,，這意味著所有貢獻(xiàn)都得到平等對(duì)待,，基金會(huì)成員在項(xiàng)目的未來(lái)方面也擁有公開(kāi)提案和討論的發(fā)言權(quán)?！盧od Burns補(bǔ)充道,。

4月10日凌晨，隨著英特爾發(fā)布Gaudi 3,，AI芯片的競(jìng)爭(zhēng)更加激烈,，頭部公司“神仙打架”，初創(chuàng)企業(yè)大浪淘沙,，就連英偉達(dá)CEO黃仁勛每天都在“擔(dān)心公司會(huì)不會(huì)倒閉”,。面對(duì)更加復(fù)雜的環(huán)境，“AI芯片獨(dú)角獸”們也在憑借自身韌性不斷探索,，求生,、求變、求富,。