5月6日,，在華為昇騰AI開發(fā)者峰會(huì)上，中國科學(xué)院自動(dòng)化研究所“紫東太初”大模型研究中心常務(wù)副主任,、武漢人工智能研究院院長王金橋介紹,，基于華為全棧國產(chǎn)化軟硬件平臺(tái)昇騰AI與開源AI框架昇思MindSpore,，中國科學(xué)院自動(dòng)化研究所和武漢人工智能研究院正在聯(lián)合打造“紫東太初”2.0全模態(tài)大模型,，可實(shí)現(xiàn)文本、圖片,、語音,、視頻、3D點(diǎn)云,、傳感信號(hào)等不同模態(tài)的統(tǒng)一表征和學(xué)習(xí),，助推通用人工智能時(shí)代加速到來。

超前布局,，堅(jiān)持以多模態(tài)技術(shù)探索通用人工智能

從嬰幼兒時(shí)期開始,，人類的認(rèn)知學(xué)習(xí)就是建立在對(duì)現(xiàn)實(shí)世界圖像、聲音和文字等多種模態(tài)信息基礎(chǔ)之上,。突破模態(tài)限制,，實(shí)現(xiàn)圖、文,、音等更多模態(tài)的通用大模型是人工智能融入現(xiàn)實(shí)世界的必然,。

2019年開始，自動(dòng)化所在語音,、文本,、圖像等單模態(tài)大模型研究和應(yīng)用基礎(chǔ)上，瞄準(zhǔn)多模態(tài)大模型領(lǐng)域開始聯(lián)合攻關(guān),，并于2021年7月正式發(fā)布了全球首個(gè)千億參數(shù)多模態(tài)大模型“紫東太初”,，以多模態(tài)技術(shù)探索通用人工智能發(fā)展道路。

區(qū)別于當(dāng)前以文本為主的大部分語言大模型,，“紫東太初”大模型在研發(fā)之初即堅(jiān)持以多模態(tài)技術(shù)為核心,，利用圖-音-文等更多類型數(shù)據(jù)進(jìn)行跨模態(tài)的統(tǒng)一表征和學(xué)習(xí)，實(shí)現(xiàn)了圖像,、文本、語音三模態(tài)數(shù)據(jù)間的“統(tǒng)一表示”與“相互生成”,，使人工智能大模型的理解和生成能力更加接近人類,，為貫通多模態(tài)人工智能行業(yè)應(yīng)用提供了創(chuàng)新基礎(chǔ)，向通用人工智能邁出關(guān)鍵一步,。

從感知到認(rèn)知,，面向數(shù)字物聯(lián)世界再上新臺(tái)階

世界已經(jīng)進(jìn)入了數(shù)字物聯(lián)時(shí)代。在“紫東太初”1.0應(yīng)用推廣過程中,，除了需要處理海量語音,、圖像和文本等互聯(lián)網(wǎng)信息外，更需要處理多種傳感器,、3D點(diǎn)云及視頻等物聯(lián)網(wǎng)海量數(shù)據(jù),，才能滿足現(xiàn)實(shí)生產(chǎn)力的提高。針對(duì)數(shù)字物聯(lián)時(shí)代的新需求與新趨勢,，中科院自動(dòng)化研究所研究探索全模態(tài)大模型體系架構(gòu)和基礎(chǔ)算法,，持續(xù)推動(dòng)“紫東太初”技術(shù)和應(yīng)用發(fā)展。

在文本,、圖片,、音頻、視頻的基礎(chǔ)上,，“紫東太初”2.0可融入3D,、視頻、傳感信號(hào)等更多模態(tài)數(shù)據(jù),，并優(yōu)化語音,、視頻和文本的融合認(rèn)知以及常識(shí)計(jì)算等功能，進(jìn)一步突破感知、認(rèn)知和決策的交互屏障,，讓人工智能從感知世界進(jìn)化為認(rèn)知世界,，延伸出更加強(qiáng)大的通用能力。

打造全棧國產(chǎn)化通用人工智能底座

全棧國產(chǎn)化通用人工智能平臺(tái)的實(shí)踐對(duì)我國實(shí)現(xiàn)AI領(lǐng)域科技自立自強(qiáng),、占領(lǐng)科技創(chuàng)新高地具有重要的戰(zhàn)略意義,。“紫東太初”大模型從立項(xiàng)開始,，就以中科院自動(dòng)化所自研算法為核心,，以全棧國產(chǎn)化基礎(chǔ)軟硬件昇騰AI平臺(tái)為基礎(chǔ)，依托武漢人工智能計(jì)算中心算力支持,，真正意義上實(shí)現(xiàn)了國產(chǎn)人工智能大模型的可控,、可信、可用,，有力地促進(jìn)了國產(chǎn)全棧式基礎(chǔ)軟硬件的發(fā)展,。

目前，由自動(dòng)化牽頭打造的多模態(tài)人工智能產(chǎn)業(yè)聯(lián)合體已陸續(xù)吸納產(chǎn)學(xué)研各界近70家成員單位,。圍繞多模態(tài)大模型技術(shù)及應(yīng)用,，“紫東太初”大模型已在手語教學(xué)、法律咨詢,、交通出行,、廣電、醫(yī)療機(jī)器人,、醫(yī)學(xué)影像判讀等數(shù)十個(gè)行業(yè)場景領(lǐng)域已展現(xiàn)出廣闊的落地潛力,。在華為昇騰AI開發(fā)者峰會(huì)，“紫東太初”大模型開源了基于昇騰與昇思的3.8B圖像-文本-語音多模態(tài)模型并開放紫東太初大模型服務(wù)平臺(tái),。

從互聯(lián)網(wǎng)的圖音文多模態(tài)走向物聯(lián)網(wǎng)的全模態(tài),，以打造國產(chǎn)化通用人工智能底座為目標(biāo)，自動(dòng)化所將持續(xù)推進(jìn)“紫東太初”大模型基礎(chǔ)理論,、關(guān)鍵技術(shù)和應(yīng)用生態(tài)的全鏈條自主創(chuàng)新,，著力以自主可控基礎(chǔ)軟硬件建立開源開放的多模態(tài)產(chǎn)業(yè)生態(tài)，不懈探索通用人工智能創(chuàng)新路徑,。

更多精彩資訊請(qǐng)?jiān)趹?yīng)用市場下載“央廣網(wǎng)”客戶端,。歡迎提供新聞線索，24小時(shí)報(bào)料熱線400-800-0088,；消費(fèi)者也可通過央廣網(wǎng)“啄木鳥消費(fèi)者投訴平臺(tái)”線上投訴。版權(quán)聲明：本文章版權(quán)歸屬央廣網(wǎng)所有,，未經(jīng)授權(quán)不得轉(zhuǎn)載,。轉(zhuǎn)載請(qǐng)聯(lián)系：[email protected]，不尊重原創(chuàng)的行為我們將追究責(zé)任,。