如今，隨著人工智能的快速發展，多模態這一技術備受行業關注。針對多模態，度小滿不斷加強技術創新，在該技術領域積累了豐富經驗。近期，度小滿聯合哈工大，創新研發推出自適應剪枝算法——SmartTrim。SmartTrim可大幅提升計算效率，度小滿未來將把SmartTrim整合到軒轅大模型中，以推動大模型技術的發展。

度小滿研發推出自適應剪枝算法SmartTrim

在視覺語言大模型（VLM）的研究和應用中，高計算成本一直是制約其廣泛部署的主要障礙。近日，哈爾濱工業大學聯合度小滿共同研發出一種創新的自適應剪枝算法——SmartTrim。該算法針對多模態大模型的冗余計算進行有效削減，實現了顯著的效率提升，相關研究成果已被國際自然語言處理領域頂級會議COLING 24接收。　　

據介紹，SmartTrim技術的核心在于其自適應剪枝能力，通過分析模型中每層的token表示和attention head的冗余性，智能識別并剪除不必要的計算負擔。這一過程中，SmartTrim不僅考慮了token在單一模態序列中的重要性，還特別強調了跨模態交互中的關鍵作用。通過這種精細化的剪枝策略，SmartTrim能夠在保持模型性能的同時，大幅提升計算效率。

在基于 VQA 微調的 METER 的跨模態編碼器中，層內不同 token（上）和 attention head（下）表示的相似性。

SmartTrim框架的實施涉及兩個關鍵組件：跨模態感知的Token修剪器和模態自適應的注意力頭修剪器。Token修剪器利用多層感知器（MLP）結構，智能地識別并去除那些對于當前層不重要的Token。這一過程不僅考慮了Token在文本或圖像序列中的獨立重要性，還綜合了它們在跨模態交互中的貢獻。注意力頭修剪器則直接集成在模型的自注意力模塊中，評估并修剪那些冗余的注意力頭，從而優化了模型的計算效率。

SmartTrim 框架結構圖

在訓練SmartTrim模型時，研究人員采用了一種結合任務相關目標和計算開銷目標的雙重優化策略。通過重參數化技巧，解決了不可導二值mask的問題，實現了模型的端到端訓練。此外，自蒸餾和課程學習策略的引入，進一步提高了剪枝后模型的性能，確保了訓練過程的穩定性。

Token 的逐步裁剪修剪過程

度小滿在多模態大模型領域持續開展研究工作

實驗結果表明，SmartTrim在METER和BLIP兩個VLM上實現了2-3倍的加速，同時將性能損失最小化。這一成果不僅在理論上具有創新性，也為實際應用中的模型優化提供了新的思路。特別是在1.5倍加速比下，SmartTrim的性能甚至超過了原始模型。在高加速比下，SmartTrim相比其他方法展現出顯著優勢。

SmartTrim技術的推出，標志著多模態大模型研究的一個重要里程碑。度小滿表示，SmartTrim技術將在未來整合到公司的軒轅大模型中，以推動大模型技術的發展。相關研究者可以通過訪問了解更多關于SmartTrim的詳細信息和研究成果。

度小滿聯合哈爾濱工業大學共同研發自適應剪枝算法——SmartTrim，為推動多模態在金融領域落地提供了全新路徑。未來，度小滿將繼續加大技術研發力度，探索多模態在金融領域應用的可行性路徑，持續研發推出新技術、新成果，為助推多模態與金融行業整合發展注入新鮮血液。