機(jī)器之心報(bào)道

機(jī)器之心編輯部

Tokenization，一直是實(shí)現(xiàn)真正端到端語(yǔ)言模型的最后一個(gè)障礙。

我們終于擺脫 tokenization 了嗎？

答案是：可能性無(wú)限大。

最近，Mamba 作者之一 Albert Gu 又發(fā)新研究，他參與的一篇論文《 Dynamic Chunking for End-to-End Hierarchical Sequence Modeling 》提出了一個(gè)分層網(wǎng)絡(luò) H-Net，其用模型內(nèi)部的動(dòng)態(tài)分塊過(guò)程取代 tokenization，從而自動(dòng)發(fā)現(xiàn)和操作有意義的數(shù)據(jù)單元。

「這一研究預(yù)示著 Tokenizers 正在退場(chǎng)，智能字節(jié)分塊（Smart Byte Chunks）開(kāi)始登場(chǎng)。或許無(wú)需 Tokenizer 訓(xùn)練的時(shí)代真的要來(lái)了 —— 可能性無(wú)限大?！筙 知名博主 Rohan Paul 表示道。

現(xiàn)階段，Tokenization 仍然是語(yǔ)言模型和其他順序數(shù)據(jù)不可或缺的組成部分，因?yàn)樗軌驂嚎s和縮短序列。然而 Tokenization 存在許多缺點(diǎn)，如可解釋性差，在處理復(fù)雜語(yǔ)言（如中文、代碼、DNA 序列）時(shí)性能下降等。

迄今為止，尚未有任何端到端的無(wú) tokenizer 模型在計(jì)算預(yù)算相匹配的情況下超越基于 tokenizer 的語(yǔ)言模型的表現(xiàn)。最近，已經(jīng)有研究開(kāi)始致力于在自回歸序列模型中突破 Tokenization 限制。

在此背景下，來(lái)自 CMU、 Cartesia AI 等機(jī)構(gòu)的研究者提出了一系列新技術(shù)，通過(guò)動(dòng)態(tài)分塊機(jī)制實(shí)現(xiàn)內(nèi)容與上下文自適應(yīng)的分割策略，該機(jī)制可與模型其他部分聯(lián)合學(xué)習(xí)。將這一機(jī)制融入顯式分層網(wǎng)絡(luò)（H-Net）后，原本隱含分層的「tokenization–LM–detokenization」流程可被完全端到端的單一模型取代。

在計(jì)算資源和數(shù)據(jù)量對(duì)等的條件下，僅采用單層字節(jié)級(jí)分層的 H-Net 模型，其表現(xiàn)已優(yōu)于基于 BPE token 的強(qiáng) Transformer 語(yǔ)言模型。通過(guò)多級(jí)分層迭代建模不同抽象層級(jí)，模型性能得到進(jìn)一步提升 —— 這不僅展現(xiàn)出更優(yōu)的數(shù)據(jù)規(guī)模效應(yīng)，更能媲美兩倍規(guī)模的基于 token 的 Transformer 模型。

在英語(yǔ)預(yù)訓(xùn)練中，H-Net 展現(xiàn)出顯著增強(qiáng)的字符級(jí)魯棒性，并能定性學(xué)習(xí)有意義的、數(shù)據(jù)依賴(lài)的分塊策略，全程無(wú)需啟發(fā)式規(guī)則或顯式監(jiān)督。

最后，在 tokenization 啟發(fā)式方法效果較弱的語(yǔ)言和模態(tài)（如中文、代碼或 DNA 序列）中，H-Net 相比 tokenization 流程的優(yōu)勢(shì)進(jìn)一步擴(kuò)大（數(shù)據(jù)效率較基線提升近 4 倍），這證明了真正端到端模型從未經(jīng)處理數(shù)據(jù)中實(shí)現(xiàn)更優(yōu)學(xué)習(xí)和擴(kuò)展的潛力。

論文地址：https://arxiv.org/pdf/2507.07955v1

沒(méi)有 Tokenization 的端到端序列建模

本文提出了一種端到端的分層網(wǎng)絡(luò)（H-Net），通過(guò)遞歸、數(shù)據(jù)依賴(lài)的動(dòng)態(tài)分塊（DC，dynamic chunking）過(guò)程壓縮原始數(shù)據(jù)（見(jiàn)圖 1）。H-Net 在保持與 token 化流程相同效率的同時(shí)，通過(guò)用從數(shù)據(jù)中學(xué)習(xí)的內(nèi)容感知和上下文依賴(lài)的分割替代手工啟發(fā)式方法，顯著提高了建模能力。

分層處理

H-Net 采用了分層架構(gòu)，其工作流程分為三步：

精細(xì)處理：先用小型編碼器網(wǎng)絡(luò)處理原始數(shù)據(jù)（如逐個(gè)字節(jié) / 字符）；壓縮抽象：將數(shù)據(jù)壓縮下采樣后，交給主網(wǎng)絡(luò)（可理解為大腦核心）處理；還原輸出：最后上采樣并通過(guò)解碼器還原到原始精度。

這種設(shè)計(jì)形成了天然的認(rèn)知分層 —— 外層捕捉細(xì)粒度的模式，內(nèi)層處理抽象概念。

關(guān)鍵是，主網(wǎng)絡(luò)包含了大部分參數(shù)，并且可以適配任何標(biāo)準(zhǔn)架構(gòu)，例如 Transformer 或狀態(tài)空間模型（SSM）。

動(dòng)態(tài)分塊

H-Net 的核心是動(dòng)態(tài)分塊（DC）機(jī)制，它位于主網(wǎng)絡(luò)與編碼器 / 解碼器網(wǎng)絡(luò)之間，用于學(xué)習(xí)如何分割數(shù)據(jù)，同時(shí)使用標(biāo)準(zhǔn)的可微優(yōu)化方法。DC 由兩種互補(bǔ)的新技術(shù)組成：

(i) 路由模塊，通過(guò)相似度評(píng)分預(yù)測(cè)相鄰元素之間的邊界；

(ii) 平滑模塊，使用路由器的輸出插值表示，通過(guò)減弱不確定邊界的影響，顯著提高學(xué)習(xí)能力。

通過(guò)將這些技術(shù)與一個(gè)新的輔助損失函數(shù)結(jié)合，并利用現(xiàn)代基于梯度的離散選擇學(xué)習(xí)技術(shù)，DC 使得 H-Net 能夠以完全端到端的方式學(xué)習(xí)如何壓縮數(shù)據(jù)。

信號(hào)傳播

本文還引入了幾種架構(gòu)和訓(xùn)練技術(shù)，以提高端到端優(yōu)化過(guò)程中的穩(wěn)定性和可擴(kuò)展性。這些技術(shù)包括：(i) 精心布置的投影層和歸一化層，以平衡交互子網(wǎng)絡(luò)之間的信號(hào)傳播；(ii) 根據(jù)每層的維度和有效批次大小調(diào)整其優(yōu)化參數(shù)。

總的來(lái)說(shuō)，H-Net 學(xué)習(xí)了與主干網(wǎng)絡(luò)聯(lián)合優(yōu)化的分割策略，基于上下文信息動(dòng)態(tài)地將輸入向量壓縮成有意義的數(shù)據(jù)塊。

H-Net 代表了第一個(gè)真正的端到端、無(wú) tokenizer 的語(yǔ)言模型：通過(guò)一個(gè)動(dòng)態(tài)分塊階段，字節(jié)級(jí)的 H-Net 在超過(guò) 10 億參數(shù)的規(guī)模下，達(dá)到了與強(qiáng)大的 BPE token 化 Transformer 相當(dāng)?shù)睦Щ蠖群拖掠涡阅堋?/p>

從經(jīng)驗(yàn)上看，動(dòng)態(tài)分塊模塊自然地將數(shù)據(jù)壓縮到與 BPE tokenizer 相似的分辨率（每塊 4.5-5 字節(jié)），并且在沒(méi)有任何外部監(jiān)督或啟發(fā)式方法的情況下，定性地學(xué)習(xí)到有意義的邊界。

實(shí)驗(yàn)及結(jié)果

實(shí)驗(yàn)中，本文采用的主要語(yǔ)言模型架構(gòu)如下所示，如 MambaByte 是使用純 Mamba-2 層的各向同性模型。

Training Curves. Figure 3 presents validation BPB metrics throughout training for both Large and XL model scales

訓(xùn)練曲線。圖 3 顯示了 Large 和 XL 規(guī)模模型在整個(gè)訓(xùn)練過(guò)程中的驗(yàn)證 BPB 指標(biāo)。

在較大規(guī)模上，本文注意到：

所有各向同性模型在性能上都遠(yuǎn)遜色于分層模型。在這些模型中，MambaByte 明顯優(yōu)于 LlamaByte。

SpaceByte 明顯遜色于 SpaceByte++，這一結(jié)果驗(yàn)證了本文在外部網(wǎng)絡(luò)中使用 Mamba 的有效性。SpaceByte++ 又比 H-Net（space）差，表明本文提出的改進(jìn)信號(hào)傳播技術(shù)的有效性。

H-Net（space）是一個(gè)非常強(qiáng)大的模型，達(dá)到了與 BPE Transformer 相當(dāng)?shù)男阅?，?yàn)證了數(shù)據(jù)依賴(lài)的分塊策略與精心設(shè)計(jì)的分層架構(gòu)的效果。

表 2 展示了不同模型在多個(gè)下游基準(zhǔn)測(cè)試上的零樣本準(zhǔn)確率。

SpaceByte++、H-Net（space）和 H-Net（1-stage）在大規(guī)模上與 BPE Transformer 的性能相似，在 XL 規(guī)模上稍微超越了 BPE Transformer。

表 3 評(píng)估了模型在 HellaSwag 上的魯棒性。與所有基準(zhǔn)模型相比，H-Net（2-stage）顯著提高的魯棒性。

圖 4 提供了 H-Net（1-stage）和 H-Net（2-stage）動(dòng)態(tài)繪制的邊界的可視化圖。這些可視化提供了關(guān)于模型如何決定邊界的幾個(gè)重要見(jiàn)解。

即使使用 Llama3 tokenizer，本文發(fā)現(xiàn) H-Net（2-stage）在中文和代碼處理上，比 BPE Transformer 和 H-Net（space）具有更好的擴(kuò)展性（圖 5），并且在衰退階段后實(shí)現(xiàn)了更低的壓縮率（表 4）。

之前的研究已經(jīng)證明，SSM 在 DNA 序列建模上比 Transformer 表現(xiàn)更好。實(shí)驗(yàn)（表 5）也驗(yàn)證了這一點(diǎn)：即使換成 Mamba-2 作為主網(wǎng)絡(luò)，SSM 的優(yōu)勢(shì)仍然存在。

實(shí)際上，通過(guò)直接比較訓(xùn)練穩(wěn)定階段的困惑度曲線（圖 6），本文發(fā)現(xiàn) H-Net 模型在數(shù)據(jù)量?jī)H為 3.6 倍的情況下，能夠達(dá)到與各向同性模型相似的性能，這一發(fā)現(xiàn)適用于兩種主網(wǎng)絡(luò)架構(gòu)的選擇。

最后，Albert 還撰寫(xiě)了精彩的博客文章，介紹關(guān)于 H-Net 的幕后故事和精彩見(jiàn)解。感興趣的讀者可以前去閱讀。

博客地址：https://goombalab.github.io/blog/2025/hnet-past/

了解更多內(nèi)容，請(qǐng)參考原論文。