原文來源：AIGC開放社區(qū)

圖片來源：由無界 AI生成

11月30日,，開源生成式AI平臺(tái)Together AI在官網(wǎng)宣布，獲得1.025億美元（約7.3億元）A輪融資,。本次由凱鵬華盈 (Kleiner Perkins) 領(lǐng)投,，英偉達(dá)、Emergence Capital,、 NEA,、Prosperity 7、Greycroft等跟投,。

公開資料顯示,，Together AI創(chuàng)立于2022年6月，總部位于美國(guó)舊金山硅谷,。曾在今年5月15日獲得2000萬美元種子輪融資,，是大模型開源領(lǐng)域發(fā)展非常快的一家企業(yè),。

產(chǎn)品方面,，Together AI堅(jiān)信開源才是大模型的未來，自成立以來便發(fā)布了多個(gè)受到企業(yè),、開發(fā)者好評(píng)的開源產(chǎn)品,。

分別是類ChatGPT開源模型RedPajama-INCITE，開源30萬億訓(xùn)練數(shù)據(jù)集RedPajama-Data-v2,，開源大語(yǔ)言模型訓(xùn)練,、推理加速器FlashAttention v2。

下面,，「AIGC開放社區(qū)」將介紹這些主打開源產(chǎn)品并附帶地址,。

RedPajama-INCITE：是Together AI在今年5月初發(fā)布的一款類ChatGPT開源模型,，主要包括30億,、70億兩種參數(shù)，特點(diǎn)是功能強(qiáng)大算力消耗低，可在筆記本,、普通顯卡運(yùn)行,，適用于中小企業(yè)和個(gè)人開發(fā)者。

30億參數(shù)開源地址：https://huggingface.co/togethercomputer/RedPajama-INCITE-Base-3B-v1

70億參數(shù)開源地址：https://huggingface.co/togethercomputer/RedPajama-INCITE-Chat-7B-v0.1

RedPajama-Data-v2：今年3月Together AI首次開源了1萬億訓(xùn)練數(shù)據(jù)集,，受到開發(fā)者的極大好評(píng)下載量近20萬次。

最近,，又開源了專門用于訓(xùn)練大語(yǔ)言模型的30萬億訓(xùn)練數(shù)據(jù)集RedPajama-Data-v2,，這也是目前最大的開源數(shù)據(jù)集。

該數(shù)據(jù)集包含1000 億個(gè)文本文檔,，其中300億文檔已進(jìn)行了標(biāo)記,，支持英語(yǔ)、法語(yǔ),、西班牙語(yǔ),、德語(yǔ)和意大利語(yǔ)5種語(yǔ)言。

30萬億開源訓(xùn)練數(shù)據(jù)集

github地址：https://github.com/togethercomputer/RedPajama-Data

Huggingface地址：https://huggingface.co/datasets/togethercomputer/RedPajama-Data-V2

FlashAttention v2：這是Together AI首席科學(xué)家Tri Dao博士,，在今年7月17日發(fā)布的一款大語(yǔ)言模型訓(xùn)練、推理加速器,，已經(jīng)被?OpenAI,、Anthropic、Meta等知名科技巨頭使用,，其性能可見一斑,。

FlashAttention-2將大語(yǔ)言模型的訓(xùn)練和微調(diào)效率提高了4倍，并在 NVIDIA A100上的訓(xùn)練中實(shí)現(xiàn)了72%的模型 FLOP 利用率,。

幾乎成為Transformer 架構(gòu)模型使用最多的訓(xùn)練,、推理加速器，支持100多種主流大語(yǔ)言模型,。

FlashAttention v2開源地址：https://github.com/Dao-AILab/flash-attention?

此外，隨著ChatGPT的影響不斷擴(kuò)大受眾用戶,、初創(chuàng)企業(yè)呈指數(shù)級(jí)增長(zhǎng),，Together AI還新增了全新的生成式AI云平臺(tái)服務(wù)。

Together AI與英偉達(dá),、 Crusoe Cloud,、Vultr等伙伴進(jìn)行合作，在歐美地區(qū)運(yùn)營(yíng)了一個(gè)云計(jì)算中心,，為生成式AI初創(chuàng)企業(yè)提供推理、訓(xùn)練等服務(wù)。例如,，剛獲得5500萬美元融資的文生視頻平臺(tái)Pika Labs,，便是他們的忠實(shí)用戶。