原文來(lái)源：AIGC開(kāi)放社區(qū)

圖片來(lái)源：由無(wú)界 AI生成

11月30日，開(kāi)源生成式AI平臺(tái)Together AI在官網(wǎng)宣布,，獲得1.025億美元（約7.3億元）A輪融資,。本次由凱鵬華盈 (Kleiner Perkins) 領(lǐng)投,，英偉達(dá)、Emergence Capital,、 NEA,、Prosperity 7、Greycroft等跟投,。

公開(kāi)資料顯示,，Together AI創(chuàng)立于2022年6月，總部位于美國(guó)舊金山硅谷,。曾在今年5月15日獲得2000萬(wàn)美元種子輪融資,，是大模型開(kāi)源領(lǐng)域發(fā)展非常快的一家企業(yè),。

產(chǎn)品方面,，Together AI堅(jiān)信開(kāi)源才是大模型的未來(lái)，自成立以來(lái)便發(fā)布了多個(gè)受到企業(yè),、開(kāi)發(fā)者好評(píng)的開(kāi)源產(chǎn)品,。

分別是類(lèi)ChatGPT開(kāi)源模型RedPajama-INCITE，開(kāi)源30萬(wàn)億訓(xùn)練數(shù)據(jù)集RedPajama-Data-v2,，開(kāi)源大語(yǔ)言模型訓(xùn)練,、推理加速器FlashAttention v2。

下面,，「AIGC開(kāi)放社區(qū)」將介紹這些主打開(kāi)源產(chǎn)品并附帶地址,。

RedPajama-INCITE：是Together AI在今年5月初發(fā)布的一款類(lèi)ChatGPT開(kāi)源模型,，主要包括30億、70億兩種參數(shù),，特點(diǎn)是功能強(qiáng)大算力消耗低,，可在筆記本、普通顯卡運(yùn)行,，適用于中小企業(yè)和個(gè)人開(kāi)發(fā)者,。

30億參數(shù)開(kāi)源地址：https://huggingface.co/togethercomputer/RedPajama-INCITE-Base-3B-v1

70億參數(shù)開(kāi)源地址：https://huggingface.co/togethercomputer/RedPajama-INCITE-Chat-7B-v0.1

RedPajama-Data-v2：今年3月Together AI首次開(kāi)源了1萬(wàn)億訓(xùn)練數(shù)據(jù)集,，受到開(kāi)發(fā)者的極大好評(píng)下載量近20萬(wàn)次,。

最近,，又開(kāi)源了專(zhuān)門(mén)用于訓(xùn)練大語(yǔ)言模型的30萬(wàn)億訓(xùn)練數(shù)據(jù)集RedPajama-Data-v2，這也是目前最大的開(kāi)源數(shù)據(jù)集,。

該數(shù)據(jù)集包含1000 億個(gè)文本文檔,，其中300億文檔已進(jìn)行了標(biāo)記，支持英語(yǔ),、法語(yǔ),、西班牙語(yǔ)、德語(yǔ)和意大利語(yǔ)5種語(yǔ)言,。

30萬(wàn)億開(kāi)源訓(xùn)練數(shù)據(jù)集

github地址：https://github.com/togethercomputer/RedPajama-Data

Huggingface地址：https://huggingface.co/datasets/togethercomputer/RedPajama-Data-V2

FlashAttention v2：這是Together AI首席科學(xué)家Tri Dao博士，在今年7月17日發(fā)布的一款大語(yǔ)言模型訓(xùn)練,、推理加速器,，已經(jīng)被?OpenAI、Anthropic,、Meta等知名科技巨頭使用,，其性能可見(jiàn)一斑。

FlashAttention-2將大語(yǔ)言模型的訓(xùn)練和微調(diào)效率提高了4倍,，并在 NVIDIA A100上的訓(xùn)練中實(shí)現(xiàn)了72%的模型 FLOP 利用率,。

幾乎成為T(mén)ransformer 架構(gòu)模型使用最多的訓(xùn)練、推理加速器,，支持100多種主流大語(yǔ)言模型,。

FlashAttention v2開(kāi)源地址：https://github.com/Dao-AILab/flash-attention?

此外,，隨著ChatGPT的影響不斷擴(kuò)大受眾用戶(hù),、初創(chuàng)企業(yè)呈指數(shù)級(jí)增長(zhǎng)，Together AI還新增了全新的生成式AI云平臺(tái)服務(wù),。

Together AI與英偉達(dá),、 Crusoe Cloud、Vultr等伙伴進(jìn)行合作,，在歐美地區(qū)運(yùn)營(yíng)了一個(gè)云計(jì)算中心,，為生成式AI初創(chuàng)企業(yè)提供推理、訓(xùn)練等服務(wù),。例如,，剛獲得5500萬(wàn)美元融資的文生視頻平臺(tái)Pika Labs，便是他們的忠實(shí)用戶(hù),。