近年來，大語言模型（LLM）在語言理解、生成和泛化方面取得了突破性進展，并廣泛應用于各種文本任務。隨著研究的深入，人們開始關注將 LLM 的能力擴展至非文本模態，例如圖像、音頻、視頻、圖結構、推薦系統等。這為多模態統一建模帶來了機遇，也提出了一個核心挑戰：如何將各種模態信號轉化為 LLM 可處理的離散表示。

在這一背景下，Discrete Tokenization（離散化）逐漸成為關鍵方案。通過向量量化（Vector Quantization, VQ）等技術，高維連續輸入可以被壓縮為緊湊的離散 token，不僅實現高效存儲與計算，還能與 LLM 原生的 token 機制無縫銜接，從而顯著提升跨模態理解、推理與生成的能力。

盡管 Discrete Tokenization 在多模態 LLM 中扮演著日益重要的角色，現有研究卻缺乏系統化的總結，研究者在方法選擇、應用設計與優化方向上缺少統一參考。為此，本文團隊發布了首個面向多模態 LLM 的 Discrete Tokenization 系統化綜述，系統地梳理技術脈絡，總結多模態場景下的實踐、挑戰與前沿研究方向，為該領域提供全面的技術地圖。

論文標題：Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey論文鏈接：https://arxiv.org/abs/2507.22920論文倉庫：https://github.com/jindongli-Ai/LLM-Discrete-Tokenization-Survey發文單位：香港科技大學（廣州），吉林大學，香港中文大學，南京大學，加州大學默塞德分校

此綜述按照輸入數據的模態與模態組合來組織內容：從早期的單模態與多模態 Tokenization 方法，到 LLM 結合下的單模態與多模態應用，逐步構建出清晰的技術全景。這種結構既反映了方法的演進路徑，也方便讀者快速定位自己關心的模態領域。

方法體系：八大類核心技術全景梳理

此綜述首次系統性地整理了八類 Vector Quantization方法，覆蓋從經典方法到最新技術變體，并剖析了它們在碼本構建、梯度傳播、量化實現上的差異。

八類方法包括：

VQ（Vector Quantization）：經典碼本設計與更新機制，結構簡單、便于實現；RVQ（Residual Vector Quantization）：多階段殘差量化，逐步細化編碼精度；PQ（Product Quantization）：乘積量化，子空間劃分與獨立量化；AQ（Additive Quantization）：加性量化，多碼本疊加建模，增強表達能力；FSQ（Finite Scalar Quantization）：有限標量量化，每個維度獨立映射到有限標量集合，通過隱式碼本組合實現離散化，無需顯式存儲完整碼本，計算高效；LFQ（Lookup-Free Quantization）：去查表量化，每個維度通過符號函數直接離散化，無需顯式存儲完整碼本；BSQ（Binary Spherical Quantization）：球面二值量化，單位球面上進行離散化，無需顯式碼本；Graph Anchor-Relation Tokenization：面向圖結構的錨點 - 關系離散化，降低存儲與計算開銷。

不同方法在編碼器訓練、梯度傳遞、量化精度等方面各具特點，適用于不同模態與任務場景。

方法挑戰：碼本坍塌（Codebook Collapse）

在多種 VQ 方法實踐中，碼本坍塌是影響性能的核心問題之一。它指的是在訓練過程中，碼本的有效向量逐漸收斂到極少數幾個，導致碼本利用率下降、表示多樣性不足。

常見解決思路包括：

碼本重置（Code Reset）：對長期未使用的碼字進行重新初始化，使其靠近活躍碼字，從而提升利用率；線性再參數化（Linear Reparameterization）：通過線性變換優化碼字分布，并為未使用碼字引入可學習參數，保持其活躍狀態；軟量化（Soft Quantization）：將輸入表示為多個碼字的加權組合，平衡不同碼字的使用頻率，防止過度集中在少數碼字；正則化（Regularization）：引入熵正則、先驗分布約束或 KL 正則等機制，提高碼本利用率并避免表示空間坍縮。

緩解碼本坍塌對于提升 Discrete Tokenization 在多模態 LLM 中的穩定性與泛化能力至關重要。

早期 Tokenization

在 LLM 出現之前，Discrete Tokenization 已經在多個深度學習任務中得到廣泛應用，涵蓋單模態場景與多模態場景。在這一階段，它的主要作用是實現高效表示、壓縮以及不同模態間的對齊。典型應用包括：

早期單模態任務：在圖像任務中，Discrete Tokenization 常用于檢索與合成，高效保留全局語義與關鍵細節；在音頻任務中，它在編解碼中作為穩定中間表示，兼顧壓縮比與音質；在視頻任務中，它實現幀級高效表示，支持可控生成與長時序建模；在結構化數據任務中，它將節點、邊或交互序列映射為緊湊的離散表示，用于圖表示學習與推薦系統。
早期多模態任務：在視覺 - 語言任務中，Discrete Tokenization 將視覺特征離散化，與文本 token 共享模型接口，實現描述生成與跨模態檢索；在語音 - 文本任務中，它將連續語音離散化，與文本 token 對齊，支持語音識別、合成、翻譯等互轉；在跨模態生成任務中，它讓視覺、音頻、文本等模態能夠統一輸入到生成模型，完成多模態協同輸出。

這一階段的實踐奠定了 Discrete Tokenization 在后續 LLM 時代廣泛應用的技術基礎，并為跨模態對齊和統一處理提供了早期經驗。

LLM 驅動的單模態離散建模

LLMs 在生成、理解、泛化等任務中展現了強大的能力，使其成為建模非文本模態的理想骨干。在單模態任務中，Discrete Tokenization 被廣泛應用于圖像、音頻、圖、動作以及推薦系統等領域，通過將非文本模態編碼為 LLM 可讀的 token，Discrete Tokenization 實現了與語言 token 在同一空間下的融合。這些離散 token 作為橋梁，使 LLM 能夠完成多類下游任務：

圖像任務：通過離散 token 編碼局部細節與全局語義，實現圖像描述、生成與編輯；音頻任務：利用量化后的語音單元支持語音識別、語音合成等任務；圖結構任務：將節點與邊離散化，支持節點分類、鏈接預測、圖分類等結構化任務；動作序列任務：對動作軌跡與控制信號進行離散化，便于 LLM 處理序列生成與預測；推薦系統任務：將用戶行為、商品屬性等多類型非語言特征映射為統一 token，提升推薦與排序性能。

通過 Discrete Tokenization，不同單模態的數據特征得以映射到 LLM 的詞表空間中，統一進入模型處理框架，從而充分利用 LLM 強大的序列建模和泛化能力。

LLM 驅動的多模態離散建模

在多模態任務中，Discrete Tokenization 的作用尤為關鍵，它為不同模態之間建立了統一的語義橋梁，使模型能夠在一致的 token 表示下處理復雜的多模態輸入。

雙模態融合

雙模態組合起步于 2023 年，其中Text + Image是最活躍的方向，其次是Text + Audio，隨后擴展到Text + Video、Text + Graph、Text + Motion。在這些任務中，各模態通過各自的 tokenizer 轉換為離散 token，并映射到統一空間，從而支持圖文描述、跨模態問答、語音合成、視頻理解、動作生成等任務。

多模態融合

在三模態及以上的組合中，Discrete Tokenization 幫助更多模態在統一框架中協同工作，例如Text + Image + Audio、Text + Image + Video、Text + Image + Audio + Action。這些組合在統一 token 空間中實現檢索、生成、對話、理解等復雜任務。

統一 token 機制使得模型無需為每個模態單獨定制架構，而能夠在單一框架內自然擴展到更多模態組合，大幅提升泛化性與擴展性。

挑戰與未來方向

盡管已有顯著進展，Discrete Tokenization 在多模態 LLM 中仍存在多方面挑戰：

碼本利用率不足：部分碼字長期閑置，降低表示多樣性。信息損失：量化過程中壓縮語義細節，影響下游性能。梯度傳播困難：離散化阻礙了梯度流動，影響穩定訓練。粒度與語義對齊：粒度選擇不當可能導致細節缺失或計算開銷高。離散與連續統一：缺乏兩類表示的有效協同。模態與任務可遷移性：跨模態與跨任務的泛化能力不足?？山忉屝耘c可控性：token 語義不透明，難以調試與控制。

未來研究方向可以聚焦在：自適應量化、統一框架、生物啟發式碼本、跨模態泛化、可解釋性提升等方面，推動離散化在多模態 LLM 中更高效、更通用地發展。

結語

作為多模態 LLM 的底層橋梁，Discrete Tokenization 的重要性會隨著模型能力邊界的拓展而不斷提升。此綜述提供了首個全景化、系統化的離散化參考，不僅梳理了八類核心技術，還圍繞輸入數據的模態與模態組合構建了完整的應用全景，從單模態到雙模態，再到多模態融合，形成了清晰的技術脈絡。

這是首個以輸入模態為主線構建內容結構的系統化綜述，為研究者提供了按模態快速檢索方法與應用的技術地圖。這種組織方式不僅凸顯方法演進的脈絡，還為不同研究方向提供了清晰的切入路徑，有望在推動理論創新的同時，加速實際落地與跨模態系統的發展。