

機(jī)器之心
-
MoE與Mamba強(qiáng)強(qiáng)聯(lián)合,將狀態(tài)空間模型擴(kuò)展到數(shù)百億參數(shù) – AI新智界
文章來(lái)源:機(jī)器之心 性能與 Mamba 一樣,,但所需訓(xùn)練步驟數(shù)卻少 2.2 倍,。 圖片來(lái)源:由無(wú)界 AI生成 狀態(tài)空間模型(SSM)是近來(lái)一種備受關(guān)注的 Transformer 替…
-
Stability AI發(fā)布Stable Code 3B模型,,沒(méi)有GPU也能本地運(yùn)行 – AI新智界
Stable Code 3B 的性能優(yōu)于類(lèi)似大小的代碼模型,并且與 CodeLLaMA 7B 的性能相當(dāng),,盡管其大小只有 CodeLLaMA 7B 的 40%,。 原文來(lái)源:機(jī)器之心…
-
ChatGPT在亞馬遜上「開(kāi)網(wǎng)店」,,一夜之間成了網(wǎng)紅 – AI新智界
來(lái)源:機(jī)器之心 圖片來(lái)源:由無(wú)界 AI生成 最快的鋪貨方式? 「我們的 [產(chǎn)品] 可用于多種任務(wù),,例如 [任務(wù) 1],、[任務(wù) 2] 和 [任務(wù) 3],使其成為你家庭的多功能補(bǔ)充,?!埂?/p>
-
五種資源類(lèi)別,,如何提高大語(yǔ)言模型的資源效率,,超詳細(xì)綜述來(lái)了 – AI新智界
原文來(lái)源:機(jī)器之心 圖片來(lái)源:由無(wú)界 AI生成 本綜述深入探討了大型語(yǔ)言模型的資源高效化問(wèn)題。 近年來(lái),,大型語(yǔ)言模型(LLM)如 OpenAI 的 GPT-3 在人工智能領(lǐng)域取得了…
-
如何高效部署大模型,?CMU最新萬(wàn)字綜述縱覽LLM推理MLSys優(yōu)化技術(shù) – AI新智界
文章來(lái)源:機(jī)器之心 近日,,CMU Catalyst 團(tuán)隊(duì)推出了一篇關(guān)于高效 LLM 推理的綜述,覆蓋了 300 余篇相關(guān)論文,,從 MLSys 的研究視角介紹了算法創(chuàng)新和系統(tǒng)優(yōu)化兩個(gè)…
-
告別冷啟動(dòng),LoRA成為大模型「氮?dú)饧铀倨鳌?,提速高達(dá)300% – AI新智界
文章來(lái)源:機(jī)器之心 圖片來(lái)源:由無(wú)界 AI生成 AI 模型功能越來(lái)越強(qiáng)大,,結(jié)構(gòu)也越來(lái)越復(fù)雜,,它們的速度也成為了衡量先進(jìn)程度的標(biāo)準(zhǔn)之一。 如果 AI 是一輛豪華跑車(chē),,那么 LoRA …
-
你們有什么底氣和谷歌叫板,?Perplexity AI CEO回應(yīng)質(zhì)疑 – AI新智界
文章來(lái)源:機(jī)器之心 圖片來(lái)源:由無(wú)界 AI生成 科技巨頭的每一步發(fā)展,,往往意味著一些小企業(yè)將陷入陰影當(dāng)中。不過(guò),,福禍相依,,也會(huì)有企業(yè)在巨頭發(fā)展的過(guò)程中,找到自己的發(fā)展目標(biāo),,從競(jìng)爭(zhēng)中…
-
誰(shuí)能撼動(dòng)Transformer統(tǒng)治地位,?Mamba作者談LLM未來(lái)架構(gòu) – AI新智界
原文來(lái)源:機(jī)器之心 圖片來(lái)源:由無(wú)界 AI?生成 自 2017 年被提出以來(lái),,Transformer 已成為 AI 大模型的主流架構(gòu),未來(lái)這種情況是一直持續(xù),,還是會(huì)有新的研究出現(xiàn),,…
-
2024年AI趨勢(shì)看這張圖,,LeCun:開(kāi)源大模型要超越閉源 – AI新智界
能感受到其中的趨勢(shì)嗎? 原文來(lái)源:機(jī)器之心 圖片來(lái)源:由無(wú)界 AI生成 2023 年即將過(guò)去,。一年以來(lái),,各式各樣的大模型爭(zhēng)相發(fā)布。當(dāng) OpenAI 和谷歌等科技巨頭正在角逐時(shí),,另一…
-
?丟掉注意力的擴(kuò)散模型:Mamba帶火的SSM被蘋(píng)果,、康奈爾盯上了 – AI新智界
來(lái)源:機(jī)器之心 替代注意力機(jī)制,,SSM 真的大有可為? 為了用更少的算力讓擴(kuò)散模型生成高分辨率圖像,,注意力機(jī)制可以不要,這是康奈爾大學(xué)和蘋(píng)果的一項(xiàng)最新研究所給出的結(jié)論,。 眾所周知,,…