機(jī)器之心
-
MoE與Mamba強(qiáng)強(qiáng)聯(lián)合,，將狀態(tài)空間模型擴(kuò)展到數(shù)百億參數(shù) – AI新智界
文章來源：機(jī)器之心 性能與 Mamba 一樣,，但所需訓(xùn)練步驟數(shù)卻少 2.2 倍,。 圖片來源：由無界 AI生成 狀態(tài)空間模型（SSM）是近來一種備受關(guān)注的 Transformer 替…
-
Stability AI發(fā)布Stable Code 3B模型,，沒有GPU也能本地運(yùn)行 – AI新智界
Stable Code 3B 的性能優(yōu)于類似大小的代碼模型,，并且與 CodeLLaMA 7B 的性能相當(dāng)，盡管其大小只有 CodeLLaMA 7B 的 40%,。 原文來源：機(jī)器之心…
-
ChatGPT在亞馬遜上「開網(wǎng)店」,，一夜之間成了網(wǎng)紅 – AI新智界
來源：機(jī)器之心 圖片來源：由無界 AI生成 最快的鋪貨方式,？ 「我們的 [產(chǎn)品] 可用于多種任務(wù)，例如 [任務(wù) 1],、[任務(wù) 2] 和 [任務(wù) 3],，使其成為你家庭的多功能補(bǔ)充。」…
-
五種資源類別,，如何提高大語言模型的資源效率，超詳細(xì)綜述來了 – AI新智界
原文來源：機(jī)器之心 圖片來源：由無界 AI生成 本綜述深入探討了大型語言模型的資源高效化問題,。 近年來,，大型語言模型（LLM）如 OpenAI 的 GPT-3 在人工智能領(lǐng)域取得了…
-
如何高效部署大模型,？CMU最新萬字綜述縱覽LLM推理MLSys優(yōu)化技術(shù) – AI新智界
文章來源：機(jī)器之心 近日，CMU Catalyst 團(tuán)隊(duì)推出了一篇關(guān)于高效 LLM 推理的綜述,，覆蓋了 300 余篇相關(guān)論文,，從 MLSys 的研究視角介紹了算法創(chuàng)新和系統(tǒng)優(yōu)化兩個(gè)…
-
告別冷啟動(dòng),，LoRA成為大模型「氮?dú)饧铀倨鳌?，提速高達(dá)300% – AI新智界
文章來源：機(jī)器之心 圖片來源：由無界 AI生成 AI 模型功能越來越強(qiáng)大，結(jié)構(gòu)也越來越復(fù)雜,，它們的速度也成為了衡量先進(jìn)程度的標(biāo)準(zhǔn)之一,。 如果 AI 是一輛豪華跑車，那么 LoRA …
-
你們有什么底氣和谷歌叫板？Perplexity AI CEO回應(yīng)質(zhì)疑 – AI新智界
文章來源：機(jī)器之心 圖片來源：由無界 AI生成 科技巨頭的每一步發(fā)展,，往往意味著一些小企業(yè)將陷入陰影當(dāng)中,。不過，福禍相依,，也會(huì)有企業(yè)在巨頭發(fā)展的過程中,，找到自己的發(fā)展目標(biāo)，從競爭中…
-
誰能撼動(dòng)Transformer統(tǒng)治地位？Mamba作者談LLM未來架構(gòu) – AI新智界
原文來源：機(jī)器之心 圖片來源：由無界 AI?生成 自 2017 年被提出以來,，Transformer 已成為 AI 大模型的主流架構(gòu),，未來這種情況是一直持續(xù),，還是會(huì)有新的研究出現(xiàn)，…
-
2024年AI趨勢(shì)看這張圖，LeCun：開源大模型要超越閉源 – AI新智界
能感受到其中的趨勢(shì)嗎,？ 原文來源：機(jī)器之心 圖片來源：由無界 AI生成 2023 年即將過去,。一年以來，各式各樣的大模型爭相發(fā)布,。當(dāng) OpenAI 和谷歌等科技巨頭正在角逐時(shí),，另一…
-
?丟掉注意力的擴(kuò)散模型：Mamba帶火的SSM被蘋果,、康奈爾盯上了 – AI新智界
來源：機(jī)器之心 替代注意力機(jī)制，SSM 真的大有可為,？ 為了用更少的算力讓擴(kuò)散模型生成高分辨率圖像,，注意力機(jī)制可以不要，這是康奈爾大學(xué)和蘋果的一項(xiàng)最新研究所給出的結(jié)論,。 眾所周知,，…