新京報訊（記者張建林）12月11日，記者從華中科技大學(xué)（以下簡稱“華科大”）獲悉，該校軟件學(xué)院白翔教授領(lǐng)銜的VLRLab團隊近日發(fā)布了多模態(tài)大模型——“Monkey”（意為“猴子”）。該模型能夠?qū)崿F(xiàn)對世界的“觀察”,，對圖片進行精確描述。多模態(tài)大模型是一種可以同時處理和整合多種感知數(shù)據(jù)（例如文本,、圖像,、音頻等）的AI架構(gòu),，近年來在眾多場景中展現(xiàn)了驚人的能力,。
團隊將Monkey代碼在全球最大的代碼托管服務(wù)平臺GitHub上開源,。華中科技大學(xué)供圖據(jù)介紹，Monkey模型在18個數(shù)據(jù)集上的實驗中表現(xiàn)出色,，特別是在圖像描述和視覺問答任務(wù)方面超越了眾多現(xiàn)有的知名模型,，如微軟的LLaVA、谷歌的PaLM-E,、阿里的mPLUG-Owl等,。此外，Monkey在文本密集的問答任務(wù)中顯示出顯著的優(yōu)勢,，甚至在某些樣本上超越了業(yè)界公認的領(lǐng)先者——OpenAI的多模態(tài)大模型GPT-4V,。Monkey的一個顯著特點是出色的“看圖說話”能力。在詳細描述任務(wù)中,，Monkey展現(xiàn)了對圖像細節(jié)的感知能力,，能夠察覺到其他多模態(tài)大模型所忽略的內(nèi)容。在一張圖片中,，Monkey可以正確地將其識別為埃菲爾鐵塔,，并對其構(gòu)圖和配色方案作出詳細描述。而對于圖中左下角的文字,，只有Monkey和GPT-4V能將其準(zhǔn)確地識別為作者名,。Monkey可以正確地將其識別為埃菲爾鐵塔，并對其構(gòu)圖和配色方案作出詳細描述,。華中科技大學(xué)供圖目前,，幾乎所有多模態(tài)大模型都需要運用網(wǎng)上爬取的圖文數(shù)據(jù)集，這些數(shù)據(jù)集只能進行簡單的圖文描述,，無法滿足大分辨率圖片的需求,。Monkey巧妙利用現(xiàn)有的工具構(gòu)建了一種多層級的描述生成方法，即通過五個步驟依次對圖片進行整體簡述,、空間定位,、模塊化識別、描述賦分選取和最終總結(jié),。Monkey能夠結(jié)合不同工具的特性,，來大幅度提升描述的準(zhǔn)確性和豐富程度?！耙粋€個工具就好比不同的零件,，合理的排列組合才能使其發(fā)揮最大作用?！卑紫枵f,。他介紹，團隊從2003年便開始從事圖像識別研究,，去年又從海外引進了專攻多模態(tài)大模型的青年人才,，Monkey的最終方案是大家一起反復(fù)討論、嘗試了10余種方案后才最終確定的,。此外,，Monkey的另一亮點是能夠處理分辨率高達1344×896像素的圖像，這是目前其他多模態(tài)大模型所能處理的最大尺寸的6倍,。這意味著Monkey能對更大尺寸的圖片進行更準(zhǔn)確,、豐富,、細致的描述甚至推理。記者了解到,，目前業(yè)內(nèi)能處理的圖片最大分辨率為448×448像素,，而想要進一步提升處理能力，需投入十分高昂的算力成本,。如何以更低成本擴大輸入分辨率,？該團隊成員劉禹良向記者介紹，團隊采用了創(chuàng)新性的“裁剪”方法,，將原始輸入圖片分割成多個塊,，每塊尺寸小于448×448像素，并為每個塊配備了一個“放大鏡”,，放到合適的位置就可以“看”清更多細節(jié),。多個“放大鏡”同時工作，分別“放大”不同的圖片塊,，就能提取更多局部特征,。編輯 陳靜校對 李立軍
免責(zé)聲明：本文來自網(wǎng)絡(luò)收錄或投稿，觀點僅代表作者本人,，不代表芒果財經(jīng)贊同其觀點或證實其描述,，版權(quán)歸原作者所有。轉(zhuǎn)載請注明出處：http://lequren.com/1082885.html
溫馨提示：投資有風(fēng)險,，入市須謹慎,。本資訊不作為投資理財建議。
