新智元報道

編輯：KingHZ

谷歌早有類似技術(shù)？DeepSeek-OCR開源引發(fā)戰(zhàn)略拐點，長文本渲染圖像框架如Glyph驗證視覺壓縮的普適性。但故事還沒完。

DeepSeek-OCR殺瘋了！

前段時間，，提出了「上下文光學壓縮」，高效得邪門——

特別是，在長上下文解碼固定97%的精度下，OCR版本所需的視覺標記比文本標記少10倍。

也就是說，OCR版本的信息壓縮能力比文本版本強10倍。在20倍壓縮下，仍能保持60%的準確率。

長上下文解碼，即模型將信息壓縮為潛在表示并重建的能力。換句話說：對AI而言，單張圖像可以用更少的token來表示完整文檔。

這燃起了計算機視覺研究者的新希望：圖像更關(guān)乎智能的本質(zhì)，文本只是表象！

Karpathy不裝了，攤牌了——承認自己只是「假裝」在做自然語言處理（NLP），但心在是計算機視覺(CV)。Karpathy狂贊DeepSeek新模型，表示它終結(jié)分詞器時代。

但DeepSeek-OCR到底有多強？視覺能壓縮一切嗎？圖像和文本狹路相逢，到底誰能勝出？

下面，我們一探究竟。

DeepSeek-OCR很火

開源還得是DeepSeek

毫無疑問，DeepSeek-OCR真的很火——

不僅Github開源項目斬獲了超20K星。

Github：https://github.com/deepseek-ai/DeepSeek-OCR

HuggingFace：https://huggingface.co/deepseek-ai/DeepSeek-OCR

甚至「先天下之憂而憂，后天下之樂而樂」就因為出現(xiàn)在提示詞例子中，一群英語用戶在討論翻譯對不對：

DeepSeek意外地推廣了范仲淹這句名言。

而且，DeepSeek-OCR確實很實用。

凌晨4點，網(wǎng)友Brian Roemmele實測證明：

DeepSeek-OCR不僅能識別單個小格，它甚至可以在幾秒內(nèi)掃描整張縮微膠片（microfiche）， 而且百分之百保留全部數(shù)據(jù)！

還能完整理解文本內(nèi)容、復雜圖紙以及它們的上下文！

直呼自己「徹底改變了離線數(shù)據(jù)整理的方式」！

接下來，他還要要試試看，DeepSeek-OCR能不能一次性讀懂40多年前的「計算機存儲」打孔卡。

他在20世紀80年代貝爾實驗室的垃圾桶，收集了73箱Filmsort計算機打孔卡，上面嵌有Microfiche微縮膠片單元。

使用DeepSeek-OCR，alphaXiv從50多萬篇AI主題arXiv論文的表格/圖表中提取所有數(shù)據(jù)集，只花了1000美元，而使用Mistral OCR完成相同任務(wù)將花費7500美元。

DeepSeek-OCR還能將任天堂的年報（下圖右）轉(zhuǎn)換成了Markdown 格式（下圖左）

關(guān)鍵的是，連一個錯字都沒找到。逗號和句點也看起來完美無缺。

微軟的云/AI架構(gòu)師Axel Dittmann，剛剛在本地跑了DeepSeek-OCR，速度驚人：

整圖分析加文本提取僅用了11.1秒。

這已經(jīng)不是簡單的提速OCR了，這是實時的文檔級AI。

HuggingFace還比較了多個OCR模型。

在下列鏈接，可直接可體驗不同OCR模型的效果：

https://prithivmlmods-multimodal-ocr3.hf.space/

但有個問題，DeepSeek-OCR目的是探索視覺-文本壓縮的邊界——

從大語言模型視角出發(fā)，專注研究視覺編碼器作用的模型。

作者不僅僅是為了升級OCR，更是要探討機器如何感知和處理數(shù)據(jù)的范式轉(zhuǎn)變。

實用性高是工程成就，但領(lǐng)域內(nèi)研究人員更在意的是理論突破。

它能為AI新時代吹響號角嗎？未來，視覺感知能否勝過文本？計算機視覺能否東山再起？

想法早已有之，但問題是什么？

為什么全網(wǎng)熱議DeepSeek-OCR？

除了實用性外，網(wǎng)友Feffrey Emanuel用Claude Opus 4.1總結(jié)了論文的關(guān)鍵洞察——

只要編碼器-解碼器配對得當，密集型視覺表示比線性文本Token更高效。

這意味著：

上下文窗口將變得「彈性」：不再受限于固定的128k Token長度——可以把舊上下文動態(tài)壓縮成圖像存儲！

視覺優(yōu)先架構(gòu)將成主流：未來的大語言模型可能會先把所有文本轉(zhuǎn)為視覺表示來處理，文本Token僅用于生成階段。

「計算開銷」其實是人為制造的假象：視覺Token之所以「貴」，只是因為我們用錯了方式——過去它被當成像素表示，而不是壓縮的語義空間。

生物啟發(fā)是對的：「一圖勝千言」并不是比喻，而是經(jīng)過正確編碼后在計算層面上成立的事實！

真正顛覆性的意義在于——我們過去可能從一開始就搞反了LLM的構(gòu)建方式。

我們一直在做的是「以文本為主、視覺附加」的模型架構(gòu)，而最優(yōu)解可能是「以視覺壓縮為核心，文本生成只是輸出層」。

論文從根本上質(zhì)疑了業(yè)內(nèi)的前提假設(shè)「文本Token是文本信息最高效表達方式」，。

網(wǎng)友甚至推測谷歌早已有類似的方法，但密而不發(fā)，嚴守機密。

而且網(wǎng)友Chirag稱，谷歌在語言上公布了類似的方法。

從技術(shù)與戰(zhàn)略層面看，這無疑是一個決定性的拐點。

DeepSeek的光學壓縮技術(shù)，有效突破了AI長期以來的瓶頸：長上下文處理效率低下。

它通過將文本轉(zhuǎn)化為高密度的視覺Token，不僅大幅降低內(nèi)存與計算開銷，還能保持語義精度，由此加速了文檔級推理、實時翻譯與多模態(tài)對齊等關(guān)鍵任務(wù)。

剛剛，清華大學等也發(fā)布了一個將長文本渲染成圖像并使用視覺-語言模型（VLM）處理的框架Glyph。

這種方法在保留語義信息的同時，大幅壓縮了文本輸入。

Github：https://github.com/thu-coai/Glyph

直接閱讀視覺文本而不是文本，這種想法早已有之。

meta超級智能實驗室高級研究科學家、德克薩斯大學奧斯汀分校博士江亦凡，讀完DeepSeek-OCR論文后，就覺得這不是什么新東西：

直接閱讀視覺文本而不是將文本轉(zhuǎn)換為utf-8格式的想法，似乎是一個長期討論的概念，甚至在LLM 時代之前就是這樣。

人類閱讀書籍、聽音頻、觸摸盲文，但并不使用utf-8。

在19年，國內(nèi)的研究者就發(fā)現(xiàn)，在多項中文NLP任務(wù)中，基于字形的模型持續(xù)優(yōu)于傳統(tǒng)的詞ID/字ID模型，在多個任務(wù)上刷新SOTA表現(xiàn)。

預印本鏈接：https://arxiv.org/abs/1901.10125

題目：Glyce: Glyph-vectors for Chinese Character Representations

總之，在不同應用領(lǐng)域，多篇論文探討過這一技術(shù)路線，包括但不限于：

Language Modelling with Pixels

Robust Open-Vocabulary Translation from Visual Text Representations

Autoregressive Pre-Training on Pixels and Texts

Pix2Struct: Screenshot Parsing as Pretraining for Visual Language

Understanding Improving Language Understanding from Screenshots

對AI訓練而言，像素優(yōu)于字符?；蛟S，這早已是「江湖傳說」。但囿于工具、算力或企業(yè)文化等等，一直沒有開源的類似工具出現(xiàn)。

即便只是工程價值，DeepSeek-OCR已推動了相關(guān)研究重回AI行業(yè)視野。

不過，視覺和文本，到底誰更貼近智能的本質(zhì)？

視覺狹路遇上文本

Karpathy笑太早了？

對LLM而言，視覺>文本。這是大家對DeepSeek-OCR的第一印象。

但Palantir前員工Igor Zalutski提出了一個問題：

如果「音頻token」被證明更加高效會怎樣？

語言畢竟始于聲音，而文字是后來才發(fā)明的（如象形文字）。而且對許多人來說，閱讀時腦海中會產(chǎn)生聲音。

Keras3合作者、機器學習研究員Aakash Kumar Nain，指出了他對DeepSeek-OCR的兩大「抱怨」：

一方面， 包含文本的圖像不能無限壓縮，信息細節(jié)很容易在過程中丟失；

另一方面，我反感把壓縮和記憶擬人化的表達方式——我們是否可以避免動不動就用「擬人類」的框架去解釋一切？

在他看來，目前提取圖像Token的方式仍稱不上最優(yōu)。

DeepSeek-OCR之所以能夠跑通，主要是得益于局部注意力與全局注意力的混合機制，而不是提取方式本身有多高效。

其實，LayoutLM系列論文給出了更系統(tǒng)、更結(jié)構(gòu)化的視覺文本對齊方式，從而在信息保留、空間結(jié)構(gòu)理解和上下文建模方面做得更好。

預印本鏈接：https://arxiv.org/abs/1912.13318

標題：LayoutLM: Pre-training of Text and Layout for document Image Understanding

威斯康星大學麥迪遜分校電子與計算機工程系副教授Kangwook Lee，更嚴肅地討論了「DeepSeek-OCR熱潮」。

首先，在DeepSeek-OCR之前，劍橋大學的研究者就已展示了將prompt Token壓縮500倍的可行性——

而且并沒有借助將文本轉(zhuǎn)為圖像的策略。

論文鏈接：https://aclanthology.org/2025.acl-long.1219/

標題：500xCompressor: Generalized prompt Compression for Large Language Models

DeepSeek-OCR的成功，不應歸因于圖像表示本身的「魔力」。

文本表示本身（無論用何種tokenizer）并沒有本質(zhì)問題。

同樣道理，你也可以反其道而行之：比如將圖像轉(zhuǎn)為一串文本Token（每個Token代表RGB值），依然能跑通任務(wù)——這在LIFT論文中已有驗證。

論文鏈接：https://uw-madison-lee-lab.github.io/LanguageInterfacedFineTuning/

真正的核心啟示在于——當前LLM的Embedding空間巨大且可能非常浪費。

現(xiàn)在，大家還遠未充分利用這些表示空間的潛力。越來越多研究也在印證這一點。

比如，下面2024年的論文表明：如果你在上下文中混合多種任務(wù)的演示，模型能夠同時完成多個ICL預測任務(wù)。

鏈接：https://arxiv.org/abs/2410.05603

標題：Everything Everywhere All at Once: LLMs can In-Context Learn Multiple Tasks in Superposition

這再次說明，上下文空間和表示空間的利用效率，才是關(guān)鍵突破口。

真正應該領(lǐng)悟的關(guān)鍵要點：

DeepSeek-OCR確實很酷

但通過對壓縮文本令牌進行微調(diào)，你可以實現(xiàn)更高的令牌縮減率

更多證據(jù)表明，大語言模型并未充分利用其龐大的嵌入空間以及在推理時投入的大量計算資源

或許，這才是研究的真諦：research = re search——

做實驗之前，你無法確定結(jié)果。

技術(shù)爭鳴的價值，不在宣布贏家，而在暴露盲區(qū)。下一代AI不必「以哪個模態(tài)為圣」。

AI范式的成熟，恰恰始于這種「去神話化」的清醒。

參考資料：

https://x.com/Kangwook_Lee/status/1980709769015869488

https://x.com/Kangwook_Lee/status/1980709454522744902

https://x.com/doodlestein/status/1980282222893535376