原文來源：AIGC開放社區(qū)

圖片來源：由無界 AI生成

安徽工程大學(xué)、南洋理工大學(xué)和理海大學(xué)的研究人員開源了多模態(tài)大模型——TinyGPT-V,。

TinyGPT-V以微軟開源的Phi-2作為基礎(chǔ)大語言模型,，同時(shí)使用了視覺模型EVA實(shí)現(xiàn)多模態(tài)能力。盡管TinyGPT-V只有28億參數(shù),，但其性能可以媲美上百億參數(shù)的模型,。

此外，TinyGPT-V訓(xùn)練只需要24G GPU就能完成,，不需要A100,、H100那些高端顯卡來訓(xùn)練。

所以,，非常適用于中小型企業(yè)和個(gè)人開發(fā)者,，同時(shí)可以部署在手機(jī)、筆記本等移動(dòng)設(shè)備上,。

開源地址：https://github.com/DLYuanGod/TinyGPT-V

論文地址：https://arxiv.org/abs/2312.16862

TinyGPT-V主要架構(gòu)

TinyGPT-V主要由大語言模型Phi-2,、視覺編碼器和線性投影層三大塊組成,。

開發(fā)人員選擇了微軟最新開源的Phi-2，作為TinyGPT-V的基礎(chǔ)大語言模型,。Phi-2只有27億參數(shù),但理解和推理能力非常強(qiáng),在多項(xiàng)復(fù)雜基準(zhǔn)測(cè)試中體現(xiàn)出與大130億參數(shù)模型接近或者超過的效果,。

視覺編碼器采用了與MiniGPT-v2相同的架構(gòu),基于ViT的EVA模型。這是一個(gè)預(yù)訓(xùn)練好的視覺基礎(chǔ)模型,在整個(gè)TinyGPT-V的訓(xùn)練過程中保持凍結(jié)狀態(tài),。

線性投影層的作用則是,，將視覺編碼器提取的圖像特征嵌入到大語言模型中,使大語言模型能夠理解圖像信息,。

TinyGPT-V中的第一層線性投影層采用了來自BLIP-2的Q-Former結(jié)構(gòu),這樣可以最大程度復(fù)用BLIP-2的預(yù)訓(xùn)練成果。

第二層線性投影層用新的高斯分布初始化,目的是彌補(bǔ)前一層輸出和語言模型嵌入層之間的維度差距,。

TinyGPT-V訓(xùn)練流程

TinyGPT-V的訓(xùn)練經(jīng)過了四個(gè)階段,每個(gè)階段所使用的數(shù)據(jù)集及實(shí)驗(yàn)流程各不相同,。

第一階段是熱身訓(xùn)練,目的是使Phi-2模型適應(yīng)圖像模式的輸入。這個(gè)階段使用的訓(xùn)練數(shù)據(jù)包含Conceptual Caption,、SBU和LAION三個(gè)數(shù)據(jù)集,總計(jì)約500萬幅圖像和對(duì)應(yīng)的描述文本,。

第二階段進(jìn)行預(yù)訓(xùn)練,目的是進(jìn)一步減少圖像文本對(duì)上的損失。這個(gè)階段同樣使用第一階段的Conceptual Caption,、SBU和LAION數(shù)據(jù)集,。實(shí)驗(yàn)設(shè)置了4個(gè)階段,每個(gè)階段有5000個(gè)迭代。

第三階段進(jìn)行指令調(diào)優(yōu),使用MiniGPT-4和LLaVA的一些帶指令的圖像文本對(duì)進(jìn)行模型訓(xùn)練,如“描述這張圖片的內(nèi)容”,。

第四階段進(jìn)行多任務(wù)調(diào)優(yōu)。這一階段使用了更為復(fù)雜和豐富的多模態(tài)數(shù)據(jù)集,如LLaVA中復(fù)雜語義對(duì)齊的句子,、Flickr30K中的物體解析數(shù)據(jù)集,、多任務(wù)混合語料、純文本語料等,。

同時(shí)采用了與第二階段類似的學(xué)習(xí)率策略,最終使得損失從2.720下降到了1.399,。

為了測(cè)試TinyGPT-V的性能,研究人員從多個(gè)角度評(píng)估了在視覺問答、視空間推理,、圖片字幕生成等多個(gè)視覺語言任務(wù)上的表現(xiàn),。

結(jié)果顯示,，TinyGPT-V的參數(shù)很小，性能卻非常強(qiáng)悍,，例如,，在VSR空間推理任務(wù)上,以53.2%的準(zhǔn)確率，超過所有參與測(cè)試的模型,。