文章來源：AIGC開放社區(qū)

圖片來源：由無界AI生成

英偉達(dá)的研究人員推出了Nemotron-4 15B,。這是一個(gè)擁有150億參數(shù)的大語言模型,，并基于8萬億文本標(biāo)注數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練。

在數(shù)學(xué),、多語言分類和代碼等測試評估中,，Nemotron-4 15B在7個(gè)領(lǐng)域中的4個(gè)超過了所有現(xiàn)役同類大小的開源模型，并且在其他領(lǐng)域中也表現(xiàn)出了優(yōu)秀的性能,。

技術(shù)報(bào)告地址：https://arxiv.org/abs/2402.16819

Nemotron-4 15B架構(gòu)

Nemotron-4 15B使用了標(biāo)準(zhǔn)的Transformer架構(gòu),，這是一種基于自注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò),。

Transformer由多個(gè)相同的層組成,，每個(gè)層都有多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)。自注意力機(jī)制使模型能夠在輸入序列中捕捉到不同位置之間的依賴關(guān)系，以及輸入序列中各個(gè)位置之間的關(guān)聯(lián)性,。前饋神經(jīng)網(wǎng)絡(luò)則通過多層感知機(jī),，對每個(gè)位置的表示進(jìn)行非線性變換。

解碼器：Nemotron-4 15B只使用了Transformer的部分解碼器,。解碼器主要負(fù)責(zé)將輸入序列轉(zhuǎn)換為輸出序列,，通過自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)對輸入序列進(jìn)行處理。

注意力機(jī)制：在Nemotron-4 15B中,，注意力機(jī)制被用于自注意力和全局注意力,。自注意力用于學(xué)習(xí)輸入序列內(nèi)部的依賴關(guān)系，而全局注意力用于學(xué)習(xí)輸入序列與輸出序列之間的對應(yīng)關(guān)系,。

通過注意力機(jī)制,，模型能夠聚焦于輸入序列中與當(dāng)前位置相關(guān)的信息，從而更好地理解上下文,。

多頭注意力：在Nemotron-4 15B中,，每個(gè)注意力機(jī)制都有多個(gè)注意力頭，每個(gè)頭都可以學(xué)習(xí)到不同的關(guān)注信息,。

通過使用多頭注意力,，模型能夠同時(shí)關(guān)注輸入序列中的不同方面，從而提高了模型的表達(dá)能力和泛化能力,。

位置編碼：位置編碼是一種用于為輸入序列中的每個(gè)位置添加位置信息的技術(shù),。Nemotron-4 15B使用了旋轉(zhuǎn)位置編碼，使模型能夠在處理輸入序列時(shí)考慮到位置信息,，從而更好地捕捉到序列中的順序關(guān)系,。

Nemotron-4 15B數(shù)據(jù)與訓(xùn)練流程

Nemotron-4 15B的訓(xùn)練數(shù)據(jù)集由各種類型的數(shù)據(jù)組成，其中包括英語自然語言數(shù)據(jù)（70%）,、多語言自然語言數(shù)據(jù)（15%）和源代碼數(shù)據(jù)（15%）,。

為了使生成的內(nèi)容更準(zhǔn)確性，在構(gòu)建預(yù)訓(xùn)練語料庫時(shí)移除了重復(fù)數(shù)據(jù),，并對數(shù)據(jù)進(jìn)行了高質(zhì)量,、精細(xì)過濾。

在訓(xùn)練Nemotron-4 15B的過程中，研究人員利用了384個(gè)DGX H100節(jié)點(diǎn),，每個(gè)節(jié)點(diǎn)包含8個(gè)基于NVIDIA Hopper架構(gòu)的H100 80GB SXM5 GPU,。并采用了8路張量并行和數(shù)據(jù)并行（data parallelism）的組合，以及分布式優(yōu)化器進(jìn)行分片。

在英語,、數(shù)學(xué)推理,、多語言分類、代碼等測試任務(wù)中,，Nemotron-4 15B在英語評估領(lǐng)域優(yōu)于LLaMA-2 34B和Mistral 7B,，并與QWEN 14B和Gemma 7B達(dá)到了相近的性能。

此外，Nemotron-4 15B在廣泛的代碼語言中表現(xiàn)出了更高的準(zhǔn)確率,，尤其在資源稀缺的編程語言上超過了Starcoder和Mistral 7B等模型,。

本文素材來源Nemotron-4 15B技術(shù)報(bào)告，如有侵權(quán)請聯(lián)系刪除