多模態(tài)大語言模型是近年來金融行業(yè)研究的熱點(diǎn)技術(shù)之一,，其獨(dú)有的技術(shù)特色能夠緩解行業(yè)諸多難題。度小滿積極布局各項(xiàng)前沿科技，在多模態(tài)大語言模型領(lǐng)域展開一系列的探索與實(shí)踐,，近期聯(lián)合哈爾濱工業(yè)大學(xué)共同推出SmartTrim技術(shù),，不斷探索人工智能發(fā)展新路徑,，為金融行業(yè)創(chuàng)新發(fā)展提供科技支撐,。度小滿推出SmartTrim技術(shù),，大幅提升計(jì)算效率在視覺語言大模型（VLM）的研究和應(yīng)用中,，高計(jì)算成本一直是制約其廣泛部署的主要障礙,。近日，哈爾濱工業(yè)大學(xué)聯(lián)合度小滿共同研發(fā)出一種創(chuàng)新的自適應(yīng)剪枝算法——SmartTrim,。該算法針對多模態(tài)大模型的冗余計(jì)算進(jìn)行有效削減,，實(shí)現(xiàn)了顯著的效率提升，相關(guān)研究成果已被國際自然語言處理領(lǐng)域頂級會(huì)議COLING 24接收,?！　?jù)介紹，SmartTrim技術(shù)的核心在于其自適應(yīng)剪枝能力,，通過分析模型中每層的token表示和attention head的冗余性,，智能識(shí)別并剪除不必要的計(jì)算負(fù)擔(dān)。這一過程中,，SmartTrim不僅考慮了token在單一模態(tài)序列中的重要性,，還特別強(qiáng)調(diào)了跨模態(tài)交互中的關(guān)鍵作用,。通過這種精細(xì)化的剪枝策略，SmartTrim能夠在保持模型性能的同時(shí),，大幅提升計(jì)算效率,。在基于 VQA 微調(diào)的 METER 的跨模態(tài)編碼器中，層內(nèi)不同 token（上）和 attention head（下）表示的相似性,。SmartTrim框架的實(shí)施涉及兩個(gè)關(guān)鍵組件：跨模態(tài)感知的Token修剪器和模態(tài)自適應(yīng)的注意力頭修剪器,。Token修剪器利用多層感知器（MLP）結(jié)構(gòu)，智能地識(shí)別并去除那些對于當(dāng)前層不重要的Token,。這一過程不僅考慮了Token在文本或圖像序列中的獨(dú)立重要性,，還綜合了它們在跨模態(tài)交互中的貢獻(xiàn)。注意力頭修剪器則直接集成在模型的自注意力模塊中,，評估并修剪那些冗余的注意力頭,，從而優(yōu)化了模型的計(jì)算效率。SmartTrim 框架結(jié)構(gòu)圖在訓(xùn)練SmartTrim模型時(shí),，研究人員采用了一種結(jié)合任務(wù)相關(guān)目標(biāo)和計(jì)算開銷目標(biāo)的雙重優(yōu)化策略,。通過重參數(shù)化技巧，解決了不可導(dǎo)二值mask的問題,，實(shí)現(xiàn)了模型的端到端訓(xùn)練,。此外，自蒸餾和課程學(xué)習(xí)策略的引入,，進(jìn)一步提高了剪枝后模型的性能,，確保了訓(xùn)練過程的穩(wěn)定性。Token 的逐步裁剪修剪過程將SmartTrim整合到軒轅大模型中,，推動(dòng)大模型技術(shù)發(fā)展實(shí)驗(yàn)結(jié)果表明,，SmartTrim在METER和BLIP兩個(gè)VLM上實(shí)現(xiàn)了2-3倍的加速，同時(shí)將性能損失最小化,。這一成果不僅在理論上具有創(chuàng)新性,，也為實(shí)際應(yīng)用中的模型優(yōu)化提供了新的思路。特別是在1.5倍加速比下,，SmartTrim的性能甚至超過了原始模型,。在高加速比下，SmartTrim相比其他方法展現(xiàn)出顯著優(yōu)勢,。SmartTrim技術(shù)的推出,，標(biāo)志著多模態(tài)大模型研究的一個(gè)重要里程碑。度小滿表示,，SmartTrim技術(shù)將在未來整合到公司的軒轅大模型中,，以推動(dòng)大模型技術(shù)的發(fā)展。相關(guān)研究者可以通過訪問https://github.com/Duxiaoman-DI/XuanYuan，了解更多關(guān)于SmartTrim的詳細(xì)信息和研究成果,。度小滿在技術(shù)領(lǐng)域持續(xù)探索,，借助先進(jìn)科技破解金融行業(yè)系列技術(shù)難題，為推動(dòng)多模態(tài)等創(chuàng)新技術(shù)在金融領(lǐng)域的應(yīng)用落地貢獻(xiàn)了一份力量,。未來,，度小滿還將繼續(xù)加強(qiáng)對前沿科技的布局，不斷攻克技術(shù)難關(guān),，加速推動(dòng)多模態(tài)在金融各大場景中的運(yùn)用,，以創(chuàng)新技術(shù)助推金融行業(yè)高質(zhì)量發(fā)展。