圖說：“OpenMEDLab浦醫(yī)”基礎(chǔ)模型群將于近期逐步開源，覆蓋10余種醫(yī)療數(shù)據(jù)模態(tài) 采訪對象供圖

大模型的快速發(fā)展突破了人工智能技術(shù)的邊界,，也為眾多垂直領(lǐng)域帶來新的發(fā)展機(jī)遇和挑戰(zhàn),。在醫(yī)療領(lǐng)域，越來越多業(yè)內(nèi)人士共同關(guān)注同一個課題——如何通過人工智能大模型為醫(yī)生和研究人員提供新工具、新方法,，以改善疾病診斷,、治療和預(yù)防。

6月29日,，由上海人工智能實驗室牽頭,，并聯(lián)合國內(nèi)外頂級科研機(jī)構(gòu)、高校及醫(yī)院共同發(fā)布全球首個醫(yī)療多模態(tài)基礎(chǔ)模型群“OpenMEDLab浦醫(yī)”,。

“OpenMEDLab浦醫(yī)”融合了全球頂尖的AI研發(fā)能力,、海量醫(yī)學(xué)數(shù)據(jù)以及醫(yī)學(xué)專家知識，首批發(fā)布的基礎(chǔ)模型群中,，包含基于醫(yī)學(xué)圖像,、醫(yī)學(xué)文本、生物信息,、蛋白質(zhì)工程等10余種數(shù)據(jù)模態(tài)訓(xùn)練而成的基礎(chǔ)模型,。

近年來，超大參數(shù)深度學(xué)習(xí)基模型在計算機(jī)視覺,、自然語言處理等領(lǐng)域獲得突破性進(jìn)展,，能夠基于大模型的超強(qiáng)泛化能力應(yīng)用于許多下游任務(wù)的分析。然而醫(yī)學(xué)數(shù)據(jù)在數(shù)據(jù)模態(tài),、成像模式,、圖像特征等方面種類繁多、差別較大,，使得通用大模型難以在醫(yī)學(xué)圖像分析方面實現(xiàn)令人滿意的性能,。在高度關(guān)注數(shù)據(jù)私密性的醫(yī)療機(jī)構(gòu)中，落地部署也存在較大困難,，當(dāng)前,，針對特定任務(wù)進(jìn)行單獨模型訓(xùn)練依然是該領(lǐng)域主流的解決方案。然而,，醫(yī)療下游長尾任務(wù)的數(shù)據(jù)樣本少,、標(biāo)注難度高，這也限制了人工智能在更多醫(yī)療場景的應(yīng)用,。

如何將計算機(jī)視覺,、自然語言處理通用大模型“為我所用”，并發(fā)展出更適合醫(yī)療場景的基礎(chǔ)模型,，上海人工智能實驗室首創(chuàng)了多層級,、多場景、高精度,、可落地的醫(yī)療基礎(chǔ)模型群“OpenMEDLab浦醫(yī)”,。

據(jù)介紹，基于計算機(jī)視覺,、自然語言處理大模型對醫(yī)療圖像和文本通用特征的學(xué)習(xí),，上海人工智能實驗室首先針對不同醫(yī)療數(shù)據(jù)模態(tài)開發(fā)了一系列基模型，例如CT,、MRI,、超聲、內(nèi)鏡,、病理,、醫(yī)學(xué)文本等,，以充分學(xué)習(xí)和利用不同數(shù)據(jù)模態(tài)獨有的特征和模式?；谏鲜龆鄬蛹?、多場景的基礎(chǔ)模型群，“OpenMEDLab浦醫(yī)”可以將先前醫(yī)學(xué)數(shù)據(jù)訓(xùn)練中學(xué)習(xí)到的特征,，高效應(yīng)用于海量醫(yī)療下游問題中,，從而實現(xiàn)針對不同任務(wù)的小數(shù)據(jù)、弱標(biāo)注,、高效率的訓(xùn)練,。同時，模型群兼顧性能與落地的平衡,，在醫(yī)療場景中的部署應(yīng)用更具便捷性,，從而讓基礎(chǔ)模型在更多醫(yī)療長尾問題中得以落地應(yīng)用。

上海人工智能實驗室智慧醫(yī)療研究中心主任張少霆表示：“‘OpenMEDLab浦醫(yī)’的問世,，為人工智能大模型在醫(yī)療領(lǐng)域的快速發(fā)展,、高效落地提供了堅實的基礎(chǔ)，將帶動醫(yī)療領(lǐng)域的一系列創(chuàng)新,，如模型即服務(wù)等模式,。”

記者了解到,，“OpenMEDLab浦醫(yī)”研發(fā)團(tuán)隊已與全國多家頭部三甲醫(yī)院及醫(yī)藥企業(yè)開展合作,，全方位賦能醫(yī)院診療及藥物研發(fā)工作。在上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院,，“醫(yī)學(xué)數(shù)字人”已應(yīng)用于全身多部位,、多器官、多模態(tài)影像的智能輔助診療,，覆蓋十余個臨床方向,，全方位賦能患者診療愈全流程；在四川大學(xué)華西醫(yī)院,，雙方合作打造基于自動提示詞微調(diào)的視覺語言大模型,，顯著提高了小樣本下的醫(yī)學(xué)圖像的檢測性能，為視覺語言大模型在醫(yī)療圖像領(lǐng)域提供了應(yīng)用范式,。在生物制藥領(lǐng)域,，也與多家知名藥企合作，利用基礎(chǔ)模型賦能蛋白質(zhì)工程,，助力藥品研發(fā),。

據(jù)透露，“OpenMEDLab浦醫(yī)”將于近期逐步開源,，覆蓋醫(yī)學(xué)圖像,、醫(yī)學(xué)文本,、生物信息、蛋白質(zhì)工程等10余種醫(yī)療數(shù)據(jù)模態(tài),，促進(jìn)基于醫(yī)療基礎(chǔ)模型的跨領(lǐng)域,、跨疾病,、跨模態(tài)科研突破,，推動醫(yī)療大模型的產(chǎn)業(yè)落地。

新民晚報記者 郜陽