峰會(huì)上，王金橋研究員圍繞“紫東太初”大模型發(fā)表主旨演講,?！≈锌圃鹤詣?dòng)化所 供圖

中新網(wǎng)北京5月6日電 (記者 孫自法)中國(guó)科學(xué)院自動(dòng)化研究所(中科院自動(dòng)化所)6日發(fā)布消息說,，該所以其多模態(tài)大模型“紫東太初”1.0為基礎(chǔ)，目前正在和武漢人工智能研究院聯(lián)合打造全模態(tài)大模型“紫東太初”2.0,，可實(shí)現(xiàn)文本,、圖片,、語音,、視頻,、3D點(diǎn)云、傳感信號(hào)等不同模態(tài)的統(tǒng)一表征和學(xué)習(xí),，助推從感知世界到認(rèn)知世界的通用人工智能時(shí)代加速到來,。

以多模態(tài)技術(shù)探索通用人工智能

在當(dāng)天下午舉行的華為昇騰AI(人工智能)開發(fā)者峰會(huì)上,，中科院自動(dòng)化所“紫東太初”大模型研究中心常務(wù)副主任、武漢人工智能研究院院長(zhǎng)王金橋研究員應(yīng)邀作主旨演講介紹說,，中科院自動(dòng)化所2019年開始在語音,、文本、圖像等單模態(tài)大模型研究和應(yīng)用基礎(chǔ)上,，瞄準(zhǔn)多模態(tài)大模型領(lǐng)域聯(lián)合攻關(guān),，2021年7月正式發(fā)布全球首個(gè)千億參數(shù)多模態(tài)大模型“紫東太初”，以多模態(tài)技術(shù)探索通用人工智能發(fā)展道路,。

有別于以文本為主的大部分語言大模型,，“紫東太初”在研發(fā)之初即堅(jiān)持以多模態(tài)技術(shù)為核心，利用圖-音-文等更多類型數(shù)據(jù)進(jìn)行跨模態(tài)的統(tǒng)一表征和學(xué)習(xí),，實(shí)現(xiàn)圖像,、文本、語音三模態(tài)數(shù)據(jù)間的“統(tǒng)一表示”與“相互生成”,，使人工智能大模型的理解和生成能力更加接近人類,，為貫通多模態(tài)人工智能行業(yè)應(yīng)用提供創(chuàng)新基礎(chǔ)，向通用人工智能邁出關(guān)鍵一步,。

王金橋指出,，在“紫東太初”1.0應(yīng)用推廣過程中,，除需要處理海量語音、圖像和文本等互聯(lián)網(wǎng)信息外,，更需要處理多種傳感器,、3D點(diǎn)云及視頻等物聯(lián)網(wǎng)海量數(shù)據(jù),，才能滿足現(xiàn)實(shí)生產(chǎn)力的提高,。針對(duì)數(shù)字物聯(lián)時(shí)代的新需求與新趨勢(shì)，中科院自動(dòng)化所研究探索全模態(tài)大模型體系架構(gòu)和基礎(chǔ)算法,，持續(xù)推動(dòng)“紫東太初”技術(shù)和應(yīng)用發(fā)展。在文本,、圖片,、音頻、視頻的基礎(chǔ)上,，“紫東太初”2.0可融入3D,、視頻、傳感信號(hào)等更多模態(tài)數(shù)據(jù)，并優(yōu)化語音,、視頻和文本的融合認(rèn)知以及常識(shí)計(jì)算等功能,，進(jìn)一步突破感知、認(rèn)知和決策的交互屏障,，讓人工智能從感知世界進(jìn)化為認(rèn)知世界,，延伸出更強(qiáng)大的通用能力。

峰會(huì)上,，王金橋研究員圍繞“紫東太初”大模型發(fā)表主旨演講,。　中科院自動(dòng)化所 供圖

促進(jìn)國(guó)產(chǎn)全棧式基礎(chǔ)軟硬件發(fā)展

王金橋表示,，“紫東太初”大模型從立項(xiàng)開始,，就以中科院自動(dòng)化所自研算法為核心，以全棧國(guó)產(chǎn)化基礎(chǔ)軟硬件昇騰AI平臺(tái)為基礎(chǔ),，依托武漢人工智能計(jì)算中心算力支持,，從而有力促進(jìn)國(guó)產(chǎn)全棧式基礎(chǔ)軟硬件的發(fā)展。

在華為昇騰AI開發(fā)者峰會(huì)上,，“紫東太初”大模型開源了基于昇騰與昇思的3.8B圖像-文本-語音多模態(tài)模型,，并開放“紫東太初”大模型服務(wù)平臺(tái)。

中科院自動(dòng)化所稱,，從互聯(lián)網(wǎng)的圖音文多模態(tài)走向物聯(lián)網(wǎng)的全模態(tài),，以打造國(guó)產(chǎn)化通用人工智能“底座”為目標(biāo)，該所將持續(xù)推進(jìn)“紫東太初”大模型基礎(chǔ)理論,、關(guān)鍵技術(shù)和應(yīng)用生態(tài)的全鏈條自主創(chuàng)新,，著力以自主可控基礎(chǔ)軟硬件建立開源開放的多模態(tài)產(chǎn)業(yè)生態(tài)，不懈探索通用人工智能創(chuàng)新路徑,。

“紫東太初”具有廣闊應(yīng)用潛力

王金橋透露,，目前，由中科院自動(dòng)化牽頭打造的多模態(tài)人工智能產(chǎn)業(yè)聯(lián)合體已陸續(xù)吸納產(chǎn)學(xué)研各界近70家成員單位,，圍繞多模態(tài)大模型技術(shù)及應(yīng)用,，“紫東太初”大模型已在手語教學(xué)、法律咨詢,、交通出行,、廣電、醫(yī)療機(jī)器人,、醫(yī)學(xué)影像判讀等數(shù)十個(gè)行業(yè)場(chǎng)景領(lǐng)域,，展現(xiàn)出廣闊的落地應(yīng)用潛力。

其中,，在法律咨詢行業(yè),，“紫東太初”大模型僅用0.546秒就可對(duì)法律案件進(jìn)行拆解,、提取關(guān)鍵事件，在辦公效率方面實(shí)現(xiàn)案件分析速度的百倍提升,，可有效解決律師整體資源匱乏,、服務(wù)成本高等問題。

在智慧交通領(lǐng)域,，基于“紫東太初”大模型構(gòu)建的面向公路路網(wǎng)孿生仿真,、調(diào)度、養(yǎng)護(hù),、節(jié)能,、服務(wù)等全周期、全天候,、安全安心的數(shù)智平臺(tái),，讓道路通行率有效提升30%。

在醫(yī)療領(lǐng)域,，基于“紫東太初”打造的MicroNeuro顱內(nèi)微創(chuàng)手術(shù)機(jī)器人系統(tǒng)已完成國(guó)際首例深位顱內(nèi)活檢手術(shù),，支持視覺、觸覺的跨模態(tài)融合,，該大模型的升級(jí)也將加速優(yōu)化針對(duì)神經(jīng)外科手術(shù)場(chǎng)景的自主理解,。(完)