全新代碼大模型Magicoder,，不到7B參數(shù),，就能在代碼生成領(lǐng)域與頂級代碼模型不相上下,。

原文來源：新智元

圖片來源：由無界 AI生成

開源「代碼大模型」來了,！

UIUC清華團(tuán)隊的研究人員發(fā)布了Magicoder,，不到7B參數(shù)，就能在代碼生成領(lǐng)域與頂級代碼模型不相上下,。

值得一提的是,，Magicoder的代碼、權(quán)重和數(shù)據(jù),，毫無保留完全開源,。

論文地址：https://arxiv.org/abs/2312.02120

Magicoder依靠的OSS-INSTRUCT的方法,，是通過對現(xiàn)有頂級代碼模型（例如ChatGPT）的提示，加上網(wǎng)絡(luò)上的種子代碼片段,，來生成的代碼,。

這可真是取之于大模型,，用之于大模型,；就有網(wǎng)友轉(zhuǎn)發(fā)說道：通過這些結(jié)果，看到了提高用于LLMs的合成數(shù)據(jù)的潛力也是一個非常有趣的領(lǐng)域,。

話不多說,，那就讓我們來具體了解一下Magicoder的來歷吧,！

代碼生成的發(fā)展史

代碼生成（Code Generation），也叫程序合成（Program Synthesis）,，近幾十年來,，一直都是學(xué)術(shù)界的一塊「硬骨頭」，在此領(lǐng)域進(jìn)行過的許多嘗試,，例如基于抽象的合成和基于示例的編程,，都沒有取得很好的效果。

直到最近,，使用在代碼上訓(xùn)練的大型語言模型取得了顯著的突破,，被廣泛應(yīng)用于輔助實際軟件開發(fā)。

最初,，諸如GPT-3.5 Turbo和GPT-4之類的閉源模型主導(dǎo)了各種代碼生成基準(zhǔn)和排行榜,。

為了推動開源LLM在代碼生成領(lǐng)域的應(yīng)用，SELF-INSTRUCT方法被開發(fā)出來,，通過使用強(qiáng)大的LLM生成合成的編碼指令,，并利用這些指令對較弱的學(xué)生模型進(jìn)行微調(diào)，以從強(qiáng)大的教師模型中提取知識,。

然而,，SELF-INSTRUCT在提高LLM的指令遵循能力時，仍然依賴于狹窄范圍的預(yù)定義任務(wù)或啟發(fā)式方法,。

為了解決這一問題,，UIUC和清華的研究人員提出了Magicoder，其中采用的OSS-INSTRUCT方法,，旨在減輕LLM固有的偏見，通過直接學(xué)習(xí)開源代碼釋放其創(chuàng)造高質(zhì)量和創(chuàng)意編碼指令的潛力,。

OSS-INSTRUCT通過從開源中搜集的隨機(jī)代碼片段獲得靈感,，自動生成新的編碼問題。借助于不同的種子代碼片段,，OSS-INSTRUCT能夠直接產(chǎn)生多樣,、真實和可控的編碼指令數(shù)據(jù),。

如下圖所示，在這個例子中,，LLM從兩個不同函數(shù)的不完整代碼片段中獲取靈感,，成功地將它們關(guān)聯(lián)起來，并構(gòu)建出一個現(xiàn)實的機(jī)器學(xué)習(xí)問題,。

由于OSS-INSTRUCT與現(xiàn)有的數(shù)據(jù)生成方法是正交的,，OSS-INSTRUCT可以被同時結(jié)合使用,，進(jìn)一步推動模型在編碼任務(wù)中的能力。

為什么OSS-INSTRUCT如此神奇,？

OSS-INSTRUCT的工作方式是通過對LLM（例如ChatGPT）進(jìn)行提示,，然后根據(jù)從互聯(lián)網(wǎng)搜集的一些種子代碼片段（例如來自GitHub）生成編程問題及其解決方案。

一方面,，種子片段提供了生成的可控性,；

另一方面，OSS-INSTRUCT加強(qiáng)了LLM創(chuàng)建編程問題的多樣化,，更符合真實的編程場景,。

我們可以從以下幾個指標(biāo)中一探究竟：

1. 類別平衡

如下圖所示，通過計算OSS-INSTRUCT中每個樣本的嵌入與這10個類別之間的余弦相似性,，可以看出其在不同類別之間表現(xiàn)出了多樣性和平衡,。

2. 長度分布

下圖展示生成問題和解決方案的長度分布,，良好的平衡性讓OSS-INSTRUCT更貼合實際應(yīng)用場景。

3. 與HumanEval的相似性計算

下圖展示了與HumanEval樣本的余弦相似性。

可以看出,，OSS–INSTRUCT在所有研究的數(shù)據(jù)生成技術(shù)中表現(xiàn)出最低的平均相似度,，這說明OSS–INSTRUCT生成的數(shù)據(jù)是最富有多樣性的。

但是，既然OSS-INSTRUCT獲取到的種子片段來自于開源代碼,，為什么不直接在這些開源代碼上進(jìn)行微調(diào)呢,？

為了回答這個問題，研究人員遵循CodeSearchNet,，使用基礎(chǔ)的CODELLAMA-PYTHON-7B對配對數(shù)據(jù)進(jìn)行了2個時期的微調(diào),，遵循相同訓(xùn)練設(shè)置,。

對比結(jié)果如下表，在75,000個配對注釋-函數(shù)數(shù)據(jù)上,，微調(diào)甚至使基礎(chǔ)模型惡化,，而OSS-INSTRUCT有助于引入實質(zhì)性的提升。

研究人員推測,，這種惡化可能是由這些配對數(shù)據(jù)固有的大量噪聲和不一致性導(dǎo)致的,。

這進(jìn)一步表明，數(shù)據(jù)的真實性對于代碼指令調(diào)整至關(guān)重要,，而非格式,。

該結(jié)果還凸顯了OSS-INSTRUCT的優(yōu)越性，可以將這些松散相關(guān)的代碼片段轉(zhuǎn)化為語義一致的指令調(diào)整數(shù)據(jù),。

Magicoder表現(xiàn)評估

研究團(tuán)隊首先構(gòu)建了使用OSS-INSTRUCT進(jìn)行訓(xùn)練的Magicoder系列,，同時進(jìn)一步組合使用OSS-INSTRUCT和Evol–INSTRUCT構(gòu)建了MagicoderS系列,，并在兩個系列上都進(jìn)行了測試。

代碼生成基準(zhǔn)使用的是HumanEval和MBPP,，這是目前兩個最廣泛使用的基準(zhǔn),。這些基準(zhǔn)中的每個任務(wù)都包括一個任務(wù)描述（例如docstring）作為提示，然后讓LLMs生成相應(yīng)的代碼,。其正確性由少量測試用例進(jìn)行檢查,。

為了更嚴(yán)格的評估，研究人員還使用了由EvalPlus框架支持的HumanEval+和MBPP+以獲取更多的測試,。

值得注意的是,，MagicoderS-CL和MagicoderS-DS在HumanEval+上的表現(xiàn)都優(yōu)于只有7B參數(shù)的ChatGPT。

讓我們具體看下Magicoder的表現(xiàn)：

1. Python語言

我們首先可以觀察到Magicoder-CL相在HumanEval和HumanEval+上相對于CODELLAMA-PYTHON-34B有了實質(zhì)性的改進(jìn)。

MagicoderS-CL在HumanEval+上優(yōu)于ChatGPT和所有其他開源模型,。

此外,，盡管在HumanEval上得分略低于WizardCoder-CL-34B和ChatGPT，但在更嚴(yán)格的HumanEval+數(shù)據(jù)集上超過了它們,，這表明MagicoderS-CL可能生成更穩(wěn)健的代碼,。

2. 其他編程語言

在除了Python之外的語言對比中,，Magicoder-CL在所有研究過的編程語言中都大幅超過了基礎(chǔ)的CODELLAMA-PYTHON-7B。

此外,，MagicoderS-CL在所有編程語言上都進(jìn)一步改進(jìn)了Magicoder-CL,，僅使用7B參數(shù)就實現(xiàn)了與WizardCoder-CL-34B相當(dāng)?shù)男阅堋?/p>

值得注意的是，Magicoder-CL僅使用非常有限的多語言數(shù)據(jù)進(jìn)行訓(xùn)練,，但仍然優(yōu)于其他具有相似甚至更大規(guī)模的LLMs,。這意味著LLMs可以從數(shù)據(jù)中學(xué)習(xí)超出其格式的知識。

3. 數(shù)據(jù)科學(xué)庫

最后，針對7個熱門Python數(shù)據(jù)科學(xué)庫的1,000個獨(dú)特的數(shù)據(jù)科學(xué)編碼問題（DS-1000 dataset）,，研究人員也進(jìn)行了單元測試,，旨在評估LLMs在實際用例中的表現(xiàn)。

從表中可以看出,，Magicoder-CL-7B已經(jīng)在所有評估的基線中表現(xiàn)出色,，包括最先進(jìn)的WizardCoder-SC-15B，改善了8.3個百分點(diǎn),。

雖然Magicoder還不夠完美,，但作者認(rèn)為，通過公開分享所有的數(shù)據(jù)和代碼細(xì)節(jié),，會有越來越多的先進(jìn)代碼模型出現(xiàn),。

讓我們也拭目以待,。

參考資料：

https://arxiv.org/abs/2312.02120