新智元報(bào)道

編輯：LRST

在NeurIPS 2025論文中，來(lái)自「南京理工大學(xué)、中南大學(xué)、南京林業(yè)大學(xué)」的研究團(tuán)隊(duì)提出了一個(gè)極具突破性的框架——VIST（Vision-centric Token Compression in LLM），為大語(yǔ)言模型的長(zhǎng)文本高效推理提供了全新的「視覺(jué)解決方案」。值得注意的是，這一思路與近期引起廣泛關(guān)注的DeepSeek-OCR的核心理念不謀而合。

在處理短文本時(shí)，大語(yǔ)言模型（LLM）已經(jīng)表現(xiàn)出驚人的理解和生成能力。但現(xiàn)實(shí)世界中的許多任務(wù)——如長(zhǎng)文檔理解、復(fù)雜問(wèn)答、檢索增強(qiáng)生成（RAG）等——都需要模型處理成千上萬(wàn)甚至幾十萬(wàn)長(zhǎng)度的上下文。

與此同時(shí)，模型參數(shù)規(guī)模也從數(shù)十億一路飆升至萬(wàn)億級(jí)別。

在「上下文長(zhǎng)度激增」與「模型參數(shù)量膨脹」的雙重挑戰(zhàn)下，Token壓縮不再是優(yōu)化項(xiàng)，而是必需品。

若不能有效縮減輸入規(guī)模，即便最強(qiáng)大的大語(yǔ)言模型，也難以高效處理我們需要它分析的海量信息。

南京理工大學(xué)、中南大學(xué)、南京林業(yè)大學(xué)的研究人員提出VIST（Vision-centric Token Compression in LLM）框架，正是為了解決這一痛點(diǎn)。

論文鏈接：https://arxiv.org/abs/2502.00791

研究團(tuán)隊(duì)早在一年多以前NeurIPS 2024就開(kāi)始探索——如何讓模型像人類(lèi)一樣，以視覺(jué)的方式更高效地理解長(zhǎng)文本。

論文鏈接：https://arxiv.org/pdf/2406.02547

人類(lèi)閱讀文章時(shí)，不會(huì)逐字讀完每一個(gè)詞。

「的」「了」「和」這些功能性高頻詞，幾乎是被大腦自動(dòng)略過(guò)的。真正讓我們停下來(lái)的，是那些承載意義的低頻詞——名詞、動(dòng)詞、數(shù)字等。

VIST 的核心思想，就是讓大模型也具備這種「選擇性閱讀」能力。

它設(shè)計(jì)了一種模仿人類(lèi)「快–慢閱讀通路（Slow–Fast Reading Circuit）」的視覺(jué)化壓縮機(jī)制，讓大模型在理解長(zhǎng)文本時(shí)，既能快速掃讀，又能深入思考：

快路徑（Fast Path）：將遠(yuǎn)處、相對(duì)次要的上下文渲染為圖像，由一個(gè)凍結(jié)的輕量級(jí)視覺(jué)編碼器快速提取顯著性語(yǔ)義；

慢路徑（Slow Path）：將關(guān)鍵的近處文本直接輸入 LLM，用于深層推理與語(yǔ)言生成。

這種「視覺(jué)+語(yǔ)言」的雙通道協(xié)作，就像人類(lèi)的眼睛與大腦——一邊掃視全局，一邊聚焦要點(diǎn)，深度思考。

VIST讓模型真正具備了「像人一樣速讀」的能力。

憑借這一設(shè)計(jì)，在處理相同文本內(nèi)容時(shí)，VIST所需的視覺(jué)Token數(shù)量?jī)H為傳統(tǒng)文本分詞所需Token數(shù)量的56%，內(nèi)存減少了50%。

用「視覺(jué)壓縮」解鎖長(zhǎng)文本理解

早期的LLM主要通過(guò)tokenizer把文本拆分的離散token輸入給LLM去處理，這種范式帶來(lái)了很多好處如高度語(yǔ)義化。

但是已有研究發(fā)現(xiàn)，經(jīng)過(guò)大規(guī)模圖文配對(duì)數(shù)據(jù)預(yù)訓(xùn)練，CLIP等視覺(jué)編碼器能夠自發(fā)掌握 OCR 能力，這使它們可以直接理解文本圖像內(nèi)容，為長(zhǎng)文本的視覺(jué)化處理提供了強(qiáng)大工具。

VIST則借鑒了人類(lèi)高效閱讀的技巧，提出了一種全新的快–慢視覺(jué)壓縮框架，用視覺(jué)方式處理長(zhǎng)文本，讓模型既能快速掃讀，又能深度理解。

快路徑（Fast Path）

將次要的長(zhǎng)距離上下文渲染成圖像，由輕量級(jí)視覺(jué)編碼器處理；

通過(guò) Resampler 將視覺(jué)特征進(jìn)一步壓縮為4倍；

壓縮后的視覺(jué)特征再通過(guò)cross-attention與LLM的主輸入整合。

慢路徑（Slow Path）

對(duì)近處或核心文本直接交給LLM處理，進(jìn)行深度推理和語(yǔ)言生成。

這種「掃視遠(yuǎn)處，專(zhuān)注近處」的方式，模擬了人類(lèi)閱讀的自然策略，讓模型在長(zhǎng)文本場(chǎng)景下既高效又精準(zhǔn)。

概率感知視覺(jué)增強(qiáng)

教模型學(xué)會(huì)略讀

雖然視覺(jué)編碼器（如 CLIP）非常強(qiáng)大，但它們主要在自然圖像上訓(xùn)練，對(duì)于渲染文本的理解能力有限。而且，長(zhǎng)文本中往往充斥大量冗余信息，如果不加選擇地處理，浪費(fèi)算力，還會(huì)被干擾得抓不住重點(diǎn)。

為此，VIST引入了一個(gè)巧妙的機(jī)制——概率感知視覺(jué)增強(qiáng)（PVE, Probability-informed Visual Enhancement），教模型「略讀」，抓住關(guān)鍵信息，忽略冗余詞。

在訓(xùn)練中，PVE采用基于頻率的屏蔽策略（Frequency-based Masking Strategy）把高頻但信息量低的詞（如英文中的 「the」、「with」）掩碼而重點(diǎn)保留低頻、高信息量詞如名詞、動(dòng)詞、數(shù)字等核心內(nèi)容。

這些經(jīng)過(guò)語(yǔ)義優(yōu)化的文本嵌入（embeddings）有效指導(dǎo)Resampler從文本圖像中提取最重要的語(yǔ)義信息，讓視覺(jué)壓縮模塊更高效、更精準(zhǔn)。

視覺(jué)壓縮的極大潛力

在開(kāi)放域問(wèn)答（Open-domainQA）任務(wù)以及11 個(gè) In-Context Learning（ICL）基準(zhǔn)任務(wù)上，VIST 顯著優(yōu)于基于文本編碼器的壓縮方法 CEPE。

即便在極端條件下——所有篇章僅通過(guò)視覺(jué)編碼器處理——VIST仍能在開(kāi)放域問(wèn)答任務(wù)中達(dá)到與TinyLlama相當(dāng)?shù)男阅?，充分顯示了視覺(jué)壓縮在長(zhǎng)文本處理中的可靠性。

此外，VIST在處理相同文本內(nèi)容時(shí)，所需視覺(jué) Token 數(shù)量比傳統(tǒng)文本 Token 少56%（壓縮比約為2.3，從 1024 個(gè)文本Token壓縮到448個(gè)視覺(jué) Token），同時(shí)顯存使用減少50%，極大提高了計(jì)算效率。

讓大模型「用眼睛讀文字」

VIST利用輕量級(jí)視覺(jué)編碼器，將冗長(zhǎng)的上下文信息壓縮處理，為大語(yǔ)言模型提供了一條高效、低成本的新路徑。

更妙的是，視覺(jué)編碼器還能充當(dāng)視覺(jué)文本分詞器（Visual Text Tokenization），帶來(lái)四大優(yōu)勢(shì)：

1. 簡(jiǎn)化分詞流程傳統(tǒng)文本分詞器依賴(lài)復(fù)雜規(guī)則和固定詞表，通常涉及近十步人工預(yù)處理（如小寫(xiě)化、標(biāo)點(diǎn)符號(hào)處理、停用詞過(guò)濾等）。

視覺(jué)編碼器直接將渲染后的文本視作圖像輸入，無(wú)需繁瑣預(yù)處理，處理流程更直接高效。

2. 突破詞表瓶頸傳統(tǒng)分詞器在多語(yǔ)言環(huán)境下容易受詞表限制影響性能，而視覺(jué)編碼器無(wú)需詞表，統(tǒng)一處理多種語(yǔ)言文本，大幅降低嵌入矩陣和輸出層的計(jì)算與顯存開(kāi)銷(xiāo)。

3. 對(duì)字符級(jí)噪聲更魯棒視覺(jué)編碼器關(guān)注整體視覺(jué)模式，而非單個(gè) Token 匹配，因此對(duì)拼寫(xiě)錯(cuò)誤或低級(jí)文本攻擊具備天然抵抗力。

4. 多語(yǔ)言高效性盡管本文主要針對(duì)英文，視覺(jué)文本分詞器在其他語(yǔ)言中同樣高效：與傳統(tǒng)文本分詞相比，可減少62%的日文Token、78%的韓文Token、27%的中文Token，在處理長(zhǎng)文本時(shí)優(yōu)勢(shì)尤為顯著。

結(jié)語(yǔ)與未來(lái)展望

VIST 展示了「視覺(jué) + 語(yǔ)言」協(xié)作在大模型長(zhǎng)文本理解中的巨大潛力：

它讓大模型能夠「像人一樣讀」，快速掃視冗余信息，同時(shí)專(zhuān)注于關(guān)鍵內(nèi)容；

它為多語(yǔ)言、長(zhǎng)文本、甚至多模態(tài)場(chǎng)景提供了高效處理方案。

未來(lái)，視覺(jué)驅(qū)動(dòng)的 Token 壓縮可能會(huì)成為長(zhǎng)上下文 LLM 的標(biāo)準(zhǔn)組件。 隨著模型規(guī)模不斷增長(zhǎng)，這種「先看再讀」的策略，將幫助大模型在保證理解能力的同時(shí)，大幅降低計(jì)算成本，為多模態(tài)智能理解鋪平道路。

參考資料：

https://arxiv.org/abs/2502.00791