原文來(lái)源：AIGC開(kāi)放社區(qū)

圖片來(lái)源：由無(wú)界 AI生成

12月13日,，微軟在官方網(wǎng)站正式發(fā)布了,，27億參數(shù)的大語(yǔ)言模型—Phi-2。

Phi-2是基于微軟的Phi-1.5開(kāi)發(fā)而成,，可自動(dòng)生成文本/代碼,、總結(jié)文本,、數(shù)學(xué)推理等功能。

雖然Phi-2的參數(shù)很小,，性能卻優(yōu)于130億參數(shù)的Llama-2和70億參數(shù)的Mistral,，以及谷歌最新發(fā)布的Gemini Nano 2。

值得一提的是,，Phi-2沒(méi)有進(jìn)行過(guò)RLHF（人類反饋強(qiáng)化學(xué)習(xí)）和指令微調(diào)只是一個(gè)基礎(chǔ)模型,，但在多個(gè)任務(wù)評(píng)測(cè)中，其性能可以媲美或超過(guò)25倍參數(shù)的模型,。

目前,，微軟已經(jīng)開(kāi)源了Phi-1.5和Phi-1，幫助開(kāi)發(fā)者們深度研究和應(yīng)用小參數(shù)模型,。

Phi-1.5開(kāi)源地址：https://huggingface.co/microsoft/phi-1_5?

Phi-1開(kāi)源地址：https://huggingface.co/microsoft/phi-1?

Phi-1.5論文地址：https://arxiv.org/abs/2309.05463?

目前,，大模型界有一個(gè)很怪的現(xiàn)象,，就是出的模型參數(shù)越來(lái)越大，幾百億參數(shù)只能算剛?cè)腴T,，上千億的比比皆是,，有的模型甚至已經(jīng)達(dá)到上萬(wàn)億。

參數(shù)高的模型并非不好,，而是要看應(yīng)用場(chǎng)景,。對(duì)于像微軟、OpenAI,、百度,、科大訊飛這樣的基礎(chǔ)模型服務(wù)商來(lái)說(shuō)，參數(shù)越高覆蓋能力就越廣,，例如，ChatGPT已經(jīng)進(jìn)化到多模態(tài),，除了生成文本,，還能生成圖片聽(tīng)懂聲音等。

Phi-2評(píng)測(cè)數(shù)據(jù)

但參數(shù)高的模型同樣也有很多缺點(diǎn)：過(guò)擬合，如果訓(xùn)練數(shù)據(jù)較差會(huì)出現(xiàn)能力不升反降的現(xiàn)象,；算力成本巨大,，用戶每一次的提問(wèn)都像是在“燃燒金錢”；預(yù)訓(xùn)練時(shí)間長(zhǎng),，每一次模型的迭代需要耗費(fèi)大量訓(xùn)練時(shí)間,。

調(diào)優(yōu)困難,，高參數(shù)的模型擁有龐大且難控制的神經(jīng)元，想進(jìn)行部分功能調(diào)優(yōu)和控制非常困難,，最近變懶的GPT-4便是最好的案例,。

所以，微軟開(kāi)發(fā)Phi系列模型的主要目的是研究,，小參數(shù)模型如何在保證功能的前提下,，也能與大參數(shù)的模型相媲美甚至超越，這對(duì)于企業(yè)和應(yīng)用者來(lái)說(shuō)是一個(gè)雙贏的局面,。

Phi-2簡(jiǎn)單介紹

Phi-2和Phi-1.5一樣采用了24層的Transformer架構(gòu),每個(gè)頭的維度為64,并使用了旋轉(zhuǎn)嵌入等技術(shù)來(lái)提升模型性能,。

Phi-2只是一個(gè)基礎(chǔ)模型，沒(méi)有進(jìn)行過(guò)人類反饋強(qiáng)化學(xué)習(xí)和指令微調(diào),。但在文本生成,、數(shù)學(xué)推理、代碼編程方面絲毫不比大參數(shù)的模型差,，甚至比他們更好,。

訓(xùn)練數(shù)據(jù)和流程方面,，Phi-2使用了1.4T超高質(zhì)量的“教科書級(jí)”數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練，并非是網(wǎng)絡(luò)爬取的雜亂,、黑箱數(shù)據(jù),。微軟表示，這也是小參數(shù)模型比大參數(shù)模型性能高的關(guān)鍵原因之一,。

Phi-2 在 96 個(gè) A100 GPU上一共訓(xùn)練了14天,。

Phi-2實(shí)驗(yàn)數(shù)據(jù)

微軟在MMLU、BBH,、PIQA,、WinoGrande、ARC easy,、Challenge,、SIQA和GSM8k等主流測(cè)試平臺(tái)對(duì)Phi-2進(jìn)行了測(cè)試。

數(shù)據(jù)顯示，在各種聚合基準(zhǔn)上的測(cè)試超過(guò)了,，Mistral -7B和Llama-2-13B,。

值得一提的是，在多步推理測(cè)試任務(wù)中,，例如,，編碼和數(shù)學(xué),，Phi-2的性能超過(guò)了700億參數(shù)的Llama-2。