圖說(shuō)：“OpenMEDLab浦醫(yī)”基礎(chǔ)模型群將于近期逐步開源,，覆蓋10余種醫(yī)療數(shù)據(jù)模態(tài) 采訪對(duì)象供圖

大模型的快速發(fā)展突破了人工智能技術(shù)的邊界,，也為眾多垂直領(lǐng)域帶來(lái)新的發(fā)展機(jī)遇和挑戰(zhàn),。在醫(yī)療領(lǐng)域,，越來(lái)越多業(yè)內(nèi)人士共同關(guān)注同一個(gè)課題——如何通過(guò)人工智能大模型為醫(yī)生和研究人員提供新工具,、新方法,，以改善疾病診斷、治療和預(yù)防,。

6月29日,，由上海人工智能實(shí)驗(yàn)室牽頭，并聯(lián)合國(guó)內(nèi)外頂級(jí)科研機(jī)構(gòu),、高校及醫(yī)院共同發(fā)布全球首個(gè)醫(yī)療多模態(tài)基礎(chǔ)模型群“OpenMEDLab浦醫(yī)”,。

“OpenMEDLab浦醫(yī)”融合了全球頂尖的AI研發(fā)能力、海量醫(yī)學(xué)數(shù)據(jù)以及醫(yī)學(xué)專家知識(shí),，首批發(fā)布的基礎(chǔ)模型群中,，包含基于醫(yī)學(xué)圖像、醫(yī)學(xué)文本,、生物信息,、蛋白質(zhì)工程等10余種數(shù)據(jù)模態(tài)訓(xùn)練而成的基礎(chǔ)模型。

近年來(lái),，超大參數(shù)深度學(xué)習(xí)基模型在計(jì)算機(jī)視覺,、自然語(yǔ)言處理等領(lǐng)域獲得突破性進(jìn)展，能夠基于大模型的超強(qiáng)泛化能力應(yīng)用于許多下游任務(wù)的分析,。然而醫(yī)學(xué)數(shù)據(jù)在數(shù)據(jù)模態(tài),、成像模式、圖像特征等方面種類繁多,、差別較大,，使得通用大模型難以在醫(yī)學(xué)圖像分析方面實(shí)現(xiàn)令人滿意的性能。在高度關(guān)注數(shù)據(jù)私密性的醫(yī)療機(jī)構(gòu)中,，落地部署也存在較大困難,，當(dāng)前，針對(duì)特定任務(wù)進(jìn)行單獨(dú)模型訓(xùn)練依然是該領(lǐng)域主流的解決方案,。然而,，醫(yī)療下游長(zhǎng)尾任務(wù)的數(shù)據(jù)樣本少,、標(biāo)注難度高，這也限制了人工智能在更多醫(yī)療場(chǎng)景的應(yīng)用,。

如何將計(jì)算機(jī)視覺,、自然語(yǔ)言處理通用大模型“為我所用”，并發(fā)展出更適合醫(yī)療場(chǎng)景的基礎(chǔ)模型,，上海人工智能實(shí)驗(yàn)室首創(chuàng)了多層級(jí),、多場(chǎng)景、高精度,、可落地的醫(yī)療基礎(chǔ)模型群“OpenMEDLab浦醫(yī)”,。

據(jù)介紹，基于計(jì)算機(jī)視覺,、自然語(yǔ)言處理大模型對(duì)醫(yī)療圖像和文本通用特征的學(xué)習(xí),，上海人工智能實(shí)驗(yàn)室首先針對(duì)不同醫(yī)療數(shù)據(jù)模態(tài)開發(fā)了一系列基模型，例如CT,、MRI,、超聲、內(nèi)鏡,、病理,、醫(yī)學(xué)文本等，以充分學(xué)習(xí)和利用不同數(shù)據(jù)模態(tài)獨(dú)有的特征和模式,?；谏鲜龆鄬蛹?jí)、多場(chǎng)景的基礎(chǔ)模型群,，“OpenMEDLab浦醫(yī)”可以將先前醫(yī)學(xué)數(shù)據(jù)訓(xùn)練中學(xué)習(xí)到的特征,，高效應(yīng)用于海量醫(yī)療下游問(wèn)題中，從而實(shí)現(xiàn)針對(duì)不同任務(wù)的小數(shù)據(jù),、弱標(biāo)注,、高效率的訓(xùn)練。同時(shí),，模型群兼顧性能與落地的平衡,，在醫(yī)療場(chǎng)景中的部署應(yīng)用更具便捷性，從而讓基礎(chǔ)模型在更多醫(yī)療長(zhǎng)尾問(wèn)題中得以落地應(yīng)用,。

上海人工智能實(shí)驗(yàn)室智慧醫(yī)療研究中心主任張少霆表示：“‘OpenMEDLab浦醫(yī)’的問(wèn)世,，為人工智能大模型在醫(yī)療領(lǐng)域的快速發(fā)展、高效落地提供了堅(jiān)實(shí)的基礎(chǔ),，將帶動(dòng)醫(yī)療領(lǐng)域的一系列創(chuàng)新,，如模型即服務(wù)等模式?！?/p>

記者了解到,，“OpenMEDLab浦醫(yī)”研發(fā)團(tuán)隊(duì)已與全國(guó)多家頭部三甲醫(yī)院及醫(yī)藥企業(yè)開展合作,，全方位賦能醫(yī)院診療及藥物研發(fā)工作。在上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院,，“醫(yī)學(xué)數(shù)字人”已應(yīng)用于全身多部位、多器官,、多模態(tài)影像的智能輔助診療,，覆蓋十余個(gè)臨床方向，全方位賦能患者診療愈全流程,；在四川大學(xué)華西醫(yī)院,，雙方合作打造基于自動(dòng)提示詞微調(diào)的視覺語(yǔ)言大模型，顯著提高了小樣本下的醫(yī)學(xué)圖像的檢測(cè)性能,，為視覺語(yǔ)言大模型在醫(yī)療圖像領(lǐng)域提供了應(yīng)用范式,。在生物制藥領(lǐng)域，也與多家知名藥企合作,，利用基礎(chǔ)模型賦能蛋白質(zhì)工程,，助力藥品研發(fā)。

據(jù)透露,，“OpenMEDLab浦醫(yī)”將于近期逐步開源,，覆蓋醫(yī)學(xué)圖像、醫(yī)學(xué)文本,、生物信息,、蛋白質(zhì)工程等10余種醫(yī)療數(shù)據(jù)模態(tài)，促進(jìn)基于醫(yī)療基礎(chǔ)模型的跨領(lǐng)域,、跨疾病,、跨模態(tài)科研突破，推動(dòng)醫(yī)療大模型的產(chǎn)業(yè)落地,。

新民晚報(bào)記者 郜陽(yáng)