◎本報(bào)記者 操秀英近日,，浪潮電子信息產(chǎn)業(yè)股份有限公司（以下簡(jiǎn)稱浪潮信息）發(fā)布千億級(jí)開源大模型“源2.0”?！霸?.0”創(chuàng)新采用局部注意力過(guò)濾增強(qiáng)機(jī)制（LFA）,，可以有效捕捉局部信息和短依賴信息，使模型能夠更精準(zhǔn)地掌握上下文之間的強(qiáng)語(yǔ)義關(guān)聯(lián),，學(xué)習(xí)人類語(yǔ)言習(xí)慣范式本質(zhì),，大幅提升數(shù)理邏輯、數(shù)學(xué)計(jì)算,、代碼生成能力,。浪潮信息于2021年9月在業(yè)界率先推出了中文人工智能（AI）巨量模型“源1.0”，參數(shù)規(guī)模高達(dá)2457億,。浪潮信息人工智能軟件研發(fā)總監(jiān)吳韶華介紹,，比起“源1.0”,，“源2.0”在算法、數(shù)據(jù)、計(jì)算等方面都實(shí)現(xiàn)了創(chuàng)新,。在算法上,，該模型基于LFA。有別于傳統(tǒng)Transformer模型結(jié)構(gòu)擅長(zhǎng)捕捉全局信息和長(zhǎng)依賴信息能力的特點(diǎn),，LFA具備有效捕捉局部信息和短依賴信息的能力,，可確保模型更精準(zhǔn)地學(xué)習(xí)人類語(yǔ)言范式本質(zhì)。在數(shù)據(jù)處理方面,，“源2.0”通過(guò)使用中英文書籍,、論文等資料，結(jié)合高效的數(shù)據(jù)清洗流程,，為大模型訓(xùn)練提供了高質(zhì)量的學(xué)科專業(yè)數(shù)據(jù)集和邏輯推理數(shù)據(jù)集,。除此之外，浪潮信息提出基于單元測(cè)試的數(shù)據(jù)清洗方法,，可更高效地獲取高質(zhì)量數(shù)據(jù)集,，提高訓(xùn)練效率?！坝邢薜乃懔Y源下,，訓(xùn)練數(shù)據(jù)的質(zhì)量直接決定了模型的性能?！眳巧厝A說(shuō),，“‘源1.0’絕大部分的數(shù)據(jù)來(lái)源于網(wǎng)頁(yè)，雖然我們花費(fèi)了很大力氣清洗,，但數(shù)據(jù)質(zhì)量確實(shí)需要進(jìn)一步提高,。‘源2.0’減少了網(wǎng)頁(yè)數(shù)據(jù),，增加了書籍、期刊等的數(shù)據(jù),，并引入代碼和數(shù)學(xué)數(shù)據(jù),，使模型數(shù)理邏輯能力進(jìn)一步增強(qiáng)?！辈粌H如此,，“源2.0”還將實(shí)行全面開源（模型全開源、免費(fèi)可商用,、無(wú)需申請(qǐng)授權(quán)）,。對(duì)此，浪潮信息高級(jí)副總裁劉軍表示,，從計(jì)算機(jī)科學(xué)與人工智能的發(fā)展歷程來(lái)看,，開源始終對(duì)軟件技術(shù)乃至IT技術(shù)的發(fā)展有巨大的推動(dòng)作用。“Meta公司的LLaMA大模型開源之后,，迅速吸引了大量開發(fā)者,。”劉軍說(shuō),，在國(guó)內(nèi),，開源開放是促進(jìn)AI技術(shù)發(fā)展和商業(yè)落地的重要手段，大模型的開源開放可以使不同的模型之間共享底層數(shù)據(jù),、算法和代碼,，有利于打破大模型孤島，促進(jìn)模型之間的協(xié)作和更新迭代,，推動(dòng)AI開發(fā)更加靈活高效,。劉軍認(rèn)為，開源開放有利于推進(jìn)“技術(shù)+行業(yè)”的閉環(huán),，以更豐富的高質(zhì)量行業(yè)數(shù)據(jù)反哺模型,，打造更強(qiáng)的技術(shù)產(chǎn)品，并加速其商業(yè)化進(jìn)程,。劉軍透露,，未來(lái)，依托浪潮信息在AI算力平臺(tái)等方面的長(zhǎng)期技術(shù)積累,，“源2.0”將持續(xù)為大模型創(chuàng)業(yè)者和開發(fā)者提供更加豐富,、全面的助力和更加開放的技術(shù)創(chuàng)新空間。來(lái)源：科技日?qǐng)?bào)