中科院自動(dòng)化所所長(zhǎng)徐波發(fā)布“紫東太初”全模態(tài)大模型,。　中科院自動(dòng)化所 供圖

中新網(wǎng)北京6月16日電 (記者 孫自法)記者從中國科學(xué)院自動(dòng)化研究所(中科院自動(dòng)化所)獲悉,，在6月16日舉行的“人工智能框架生態(tài)峰會(huì)2023”上,，中科院自動(dòng)化所所長(zhǎng)徐波研究員正式發(fā)布“紫東太初”全模態(tài)大模型,，持續(xù)探索可自主進(jìn)化的通用人工智能(AI),。

首次展示“紫東太初”全新功能

“紫東太初”全模態(tài)大模型是在千億參數(shù)多模態(tài)大模型“紫東太初”1.0基礎(chǔ)上升級(jí)打造的2.0版本,，在語音,、圖像和文本三模態(tài)的基礎(chǔ)上，加入視頻,、傳感信號(hào),、3D點(diǎn)云等模態(tài)數(shù)據(jù)，研究突破認(rèn)知增強(qiáng)的多模態(tài)關(guān)聯(lián)等關(guān)鍵技術(shù),，具備全模態(tài)理解能力,、生成能力和關(guān)聯(lián)能力，面向數(shù)字經(jīng)濟(jì)時(shí)代加速通用人工智能的實(shí)現(xiàn),。

當(dāng)天會(huì)上，徐波首次對(duì)外實(shí)時(shí)展示“紫東太初”大模型在音樂理解與生成,、三維場(chǎng)景導(dǎo)航,、信號(hào)理解、多模態(tài)對(duì)話等方面的全新功能,，并邀請(qǐng)現(xiàn)場(chǎng)觀眾與大模型即時(shí)互動(dòng),。

“紫東太初”全模態(tài)認(rèn)知大模型不僅可以透過《月光曲》暢談貝多芬的故事，也可以在三維場(chǎng)景里實(shí)現(xiàn)精準(zhǔn)定位,，還能夠通過圖像與聲音的結(jié)合完成場(chǎng)景分析,，在現(xiàn)場(chǎng)獲得熱烈反響。

從多模態(tài)到全模態(tài)持續(xù)探索

人類在認(rèn)知世界時(shí),，往往同時(shí)涉及語音,、圖像、文字等信息,。機(jī)器要實(shí)現(xiàn)更高水平的智能,，就需要像人一樣，發(fā)展貫通圖,、文,、音等更多模態(tài)的大模型。自2019年起,，中科院自動(dòng)化所即堅(jiān)持以“圖-音-文”多模態(tài)技術(shù)為核心,，確立多模態(tài)大模型布局，整合所內(nèi)圖像,、文本,、語音等研究方向的優(yōu)勢(shì)資源開展集團(tuán)式攻關(guān)，于2021年9月成功打造“紫東太初”1.0多模態(tài)大模型,，助推人工智能從“一專一能”邁向“多專多能”,，向發(fā)展通用人工智能邁出堅(jiān)實(shí)的第一步。

以此為基礎(chǔ),，“紫東太初”大模型的多模態(tài)探索持續(xù)深入,。針對(duì)邁入數(shù)字經(jīng)濟(jì)時(shí)代的新需求與新趨勢(shì),，“紫東太初”2.0在語音、圖像和文本之外,，加入視頻,、傳感信號(hào)、3D點(diǎn)云等更多模態(tài),，大模型多模態(tài)認(rèn)知能力大幅提升,。

“紫東太初”2.0可以理解三維場(chǎng)景、傳感信號(hào)等數(shù)字物聯(lián)時(shí)代的重要信息,，完成音樂,、圖片和視頻等數(shù)據(jù)之間的跨模態(tài)對(duì)齊，能處理音樂視頻分析,、三維導(dǎo)航等多模態(tài)關(guān)聯(lián)應(yīng)用需求,，并可實(shí)現(xiàn)音樂、視頻等多模態(tài)內(nèi)容理解和生成,。

從1.0到2.0,，“紫東太初”大模型打通感知、認(rèn)知乃至決策的交互屏障,，使人工智能進(jìn)一步感知世界,、認(rèn)知世界，從而延伸出更加強(qiáng)大的通用能力,。

協(xié)同構(gòu)建自主可控發(fā)展生態(tài)

“紫東太初”2.0以中科院自動(dòng)化所自研算法為核心,，以昇騰AI硬件及昇思MindSpore AI框架為基礎(chǔ),，依托武漢人工智能計(jì)算中心算力支持,，著力打造全棧國產(chǎn)化通用人工智能底座,。

長(zhǎng)期以來,，強(qiáng)大的算力支撐是約束中國人工智能發(fā)展的瓶頸之一,，以“紫東太初”大模型為“領(lǐng)頭雁”開展的創(chuàng)新實(shí)踐將有力推動(dòng)國產(chǎn)基礎(chǔ)軟硬件與大模型技術(shù)的適配,，協(xié)同構(gòu)建中國通用人工智能自主可控發(fā)展生態(tài),。

已開始系列產(chǎn)業(yè)應(yīng)用前景廣闊

目前,，“紫東太初”大模型已展現(xiàn)出廣闊的產(chǎn)業(yè)應(yīng)用前景,，在神經(jīng)外科手術(shù)導(dǎo)航,、短視頻內(nèi)容審核、法律咨詢,、醫(yī)療多模態(tài)鑒別診斷,、交通違規(guī)圖像研讀等領(lǐng)域已經(jīng)開始一系列引領(lǐng)性、示范性應(yīng)用,。

其中,，在醫(yī)療場(chǎng)景，“紫東太初”大模型部署于神經(jīng)外科機(jī)器人MicroNeuro，可實(shí)現(xiàn)在醫(yī)療手術(shù)中實(shí)時(shí)融合視覺,、觸覺等多模態(tài)信息,，協(xié)助醫(yī)生對(duì)手術(shù)場(chǎng)景進(jìn)行實(shí)時(shí)推理判斷。同時(shí),，通過與北京協(xié)和醫(yī)院合作,，科研團(tuán)隊(duì)利用“紫東太初”具備的較強(qiáng)邏輯推理能力，正在人類罕見病診療這個(gè)挑戰(zhàn)性醫(yī)學(xué)領(lǐng)域開展嘗試,，希望有所突破,。

徐波表示，以“紫東太初”大模型為基礎(chǔ),，中科院自動(dòng)化所將持續(xù)探索與類腦智能,、博弈智能等技術(shù)路徑的相互融合，最終實(shí)現(xiàn)可自主進(jìn)化的通用人工智能,，并將探索在更多領(lǐng)域發(fā)揮賦能價(jià)值,，為促進(jìn)中國數(shù)字經(jīng)濟(jì)快速發(fā)展貢獻(xiàn)力量。(完)