這項由北京大學多媒體信息處理國家重點實驗室的宋雨含和騰訊微信AI模式識別中心的張林浩等研究人員聯合完成的研究，發表于2025年9月26日的arXiv預印本平臺（論文編號：arXiv:2509.22220v1）。有興趣深入了解技術細節的讀者可以通過這個編號在arXiv官網查詢完整論文。

當你在嘈雜的咖啡廳里對著手機說話，或者在風聲呼嘯的街頭使用語音助手時，是否注意到AI有時會突然"聽不懂"你在說什么？這不是因為你的發音問題，而是因為現有的語音AI系統有一個致命弱點：它們對噪音異常敏感，哪怕是微不足道的背景聲音也會讓它們完全"改變想法"。

研究團隊發現了一個令人驚訝的現象：即使在信噪比很高的情況下（也就是說，人類完全能夠清楚聽懂語音內容），現有的語音AI系統生成的數字標記序列也會發生劇烈變化。這就像一個翻譯官，在安靜房間里能完美翻譯你的話，但只要有一點點背景音樂，就開始胡言亂語。

這種不穩定性給下游的大語言模型帶來了巨大的學習負擔。當AI系統接收到不一致甚至混亂的輸入信息時，就很難建立可靠的語音-文本對應關系，最終導致整個語音AI系統在真實環境中表現糟糕。

為了解決這個問題，研究團隊開發了一套名為"StableToken"的全新解決方案。這個系統的核心思想類似于民主投票機制：不再依賴單一"判官"做決定，而是讓多個"評委"同時工作，然后通過投票選出最可靠的答案。更巧妙的是，這種投票不是簡單的多數決定，而是在更精細的"位"層面進行，這樣即使大部分評委在整體判斷上出錯，系統仍能通過細節層面的正確性恢復出準確結果。

在訓練過程中，研究團隊還采用了一種"噪音意識共識訓練"策略。這就像訓練一支合唱團：讓大部分成員聽清晰的音樂，同時讓少數成員聽帶有雜音的版本，然后要求所有人最終唱出一致的旋律。通過這種方式，系統學會了在面對噪音干擾時保持穩定性。

實驗結果令人印象深刻。在衡量標記穩定性的關鍵指標——單位編輯距離（UED）上，StableToken將錯誤率從26.17%大幅降低到10.17%，相對改善幅度超過60%。這種改進在各種噪音條件下都保持一致，包括合成噪音和真實世界的復雜噪音環境。

更重要的是，這種穩定性的提升直接轉化為下游應用的顯著改善。在語音識別任務中，使用StableToken的系統在嚴重噪音環境下的詞錯誤率降低了30%以上。在情感識別任務中，系統在噪音干擾下仍能保持較高的準確率。在語音合成方面，由于輸入標記的一致性提高，生成的語音質量也得到明顯改善。

一、語音AI為什么容易"翻臉"

要理解這個問題，我們需要先了解現代語音AI是如何工作的。現代語音AI系統通常采用一種叫做"語義標記化"的技術，這個過程就像把連續的語音流切成一個個小塊，然后給每個小塊貼上標簽。這些標簽隨后被傳遞給大語言模型進行處理。

傳統的語義標記器采用"單路徑量化"設計，這就像在懸崖邊走鋼絲：只要稍有偏差，就會掉下深淵。當語音信號接近量化邊界時，即使是微小的噪音擾動也會被放大成完全不同的輸出標記。更糟糕的是，這些標記器的訓練目標是最終的語音識別準確率，對中間標記的穩定性毫不關心。只要最終能正確識別出文字，系統就認為任務完成了，完全忽視了過程中標記序列的劇烈變化。

研究團隊通過大量實驗發現，這種脆弱性在所有主流的語義標記器中都存在。即使是最先進的監督式語義標記器，在面對輕微噪音時也會產生截然不同的標記序列。這種現象在不同類型的噪音（高斯噪音、粉色噪音、棕色噪音等）和真實環境噪音中都普遍存在。

問題的根源可以追溯到兩個基本缺陷。首先是架構缺陷：單路徑量化天然缺乏容錯能力，任何接近決策邊界的擾動都會被無限放大。其次是訓練信號的距離性：傳統的自動語音識別損失函數只關注最終的轉錄結果，對中間表示的穩定性視而不見。這種設計允許模型收斂到功能正確但表示脆弱的解決方案。

二、多路徑投票：構建穩定的"民主決策"機制

面對傳統方法的局限性，研究團隊提出了一種全新的架構設計思路。與其依賴單一路徑做決定，不如建立一個多路徑投票系統，讓多個"專家"同時工作，然后通過集體智慧得出最可靠的結果。

這個新系統的核心是"Voting-LFQ模塊"，它將傳統的單一量化器替換為多個并行工作的分支。每個分支都會對輸入的語音特征進行獨立的線性投影，就像多個專家從不同角度分析同一份材料。這些分支生成的不是最終答案，而是二進制表示，類似于每個專家投出的"贊成"或"反對"票。

投票機制的精妙之處在于它不是簡單的多數決定，而是在比特級別進行精細投票。對于每個二進制位，系統會統計所有分支的投票結果，然后選擇多數支持的選項。這種細粒度的投票機制具有強大的糾錯能力：即使某些分支在整體判斷上出錯，只要底層的比特級錯誤保持稀疏，系統仍能恢復出正確的標記。

在訓練階段，這種架構還支持一種創新的訓練策略。系統會同時接收原始音頻和加噪版本，然后隨機選擇少數分支處理加噪音頻，其余分支處理清潔音頻。通過這種不對稱的輸入分配，系統學會了在噪音干擾下保持一致性：清潔分支作為穩定錨點，指導噪音分支學習魯棒表示。

在推理階段，所有分支都處理相同的輸入，但由于訓練過程中的魯棒性學習，即使面對噪音干擾，不同分支之間也能保持高度一致性。最終的比特級投票進一步確保了輸出的穩定性，有效抵御了噪音引起的隨機擾動。

三、共識訓練：教會AI在噪音中保持"理智"

僅有多路徑架構還不夠，關鍵在于如何訓練這個系統在噪音環境下保持一致性。研究團隊設計了一種"噪音意識共識訓練"策略，這種訓練方法的核心思想是讓系統在對抗性環境中學會自我穩定。

訓練過程采用了一種巧妙的"多視角"策略。對于每個輸入音頻，系統會生成一個加噪版本，然后將這兩個版本分配給不同的分支處理。具體來說，隨機選擇少數分支（少于總數的一半）接收加噪音頻，其余分支接收原始清潔音頻。這種設置確保了清潔分支始終占多數，形成穩定的參考基準。

共識損失函數是這種訓練策略的核心。系統會計算所有分支在量化前表示的全局平均值，然后要求每個分支（無論處理的是清潔還是加噪音頻）都盡可能接近這個全局平均值。由于清潔分支占多數，全局平均值主要反映清潔音頻的特征，因此加噪分支被迫學習忽略噪音干擾，向清潔表示靠攏。

這種訓練策略的效果類似于在噪音環境中訓練合唱團。大部分成員聽到清晰的音樂，少數成員聽到帶噪音的版本，但所有人都必須唱出和諧的旋律。通過反復練習，即使聽到噪音的成員也能學會過濾干擾，專注于音樂的本質特征。

在連續向量空間中進行共識優化比在離散空間中進行要容易得多。離散標記的微小變化會導致梯度信號的劇烈波動，使訓練變得極其困難。而在連續空間中，梯度信號更加平滑和穩定，允許模型進行細致的調整。

四、訓練目標的精心設計

完整的訓練目標將多個損失函數巧妙結合，形成一個平衡的優化框架。主要任務仍然是自動語音識別，這確保了系統的基本功能不會受損。在此基礎上，共識損失為系統注入了穩定性，要求不同分支在面對相同語義內容時產生一致的表示。

承諾損失來自LFQ框架，它鼓勵隱藏狀態向量接近量化后的表示，減少量化誤差的累積。碼本熵損失確保離散碼的均勻使用，防止某些碼被過度使用而其他碼被忽視。這種均勻性對于保持表示空間的豐富性和避免模式坍塌至關重要。

各個損失函數的權重經過精心調節，確保它們之間的平衡。研究團隊通過大量實驗發現，共識損失的權重設置為0.25能夠在穩定性和性能之間取得最佳平衡。過高的權重會損害基本的識別性能，而過低的權重則無法提供足夠的穩定性約束。

這種多目標優化的挑戰在于不同損失函數可能存在沖突。例如，過度強調穩定性可能會降低表示的表達能力，而過度追求識別準確率可能會忽視穩定性需求。研究團隊通過仔細的權重調節和梯度分析，找到了一個各方面性能都能接受的平衡點。

五、選擇合適的"評委"數量

在多路徑投票系統中，選擇合適的分支數量是一個關鍵決策。太少的分支無法提供足夠的冗余度，而太多的分支會增加計算開銷而收益遞減。研究團隊通過系統性實驗探索了不同分支數量對性能的影響。

實驗結果顯示，從3個分支增加到5個分支能夠帶來顯著的性能提升。在各種噪音條件下，5分支系統的單位編輯距離都明顯低于3分支系統。這種改進主要來自于更強的容錯能力：更多的分支意味著更多的冗余信息，單個分支的錯誤更容易被其他分支糾正。

然而，從5個分支進一步增加到7個分支，性能提升變得微乎其微。額外的分支雖然理論上能提供更多冗余，但在實際應用中，5個分支已經足夠處理大多數噪音干擾情況。更多的分支不僅增加了計算成本，還可能引入額外的優化復雜性。

基于性能和效率的綜合考慮，研究團隊最終選擇5作為最優的分支數量。這個選擇在穩定性、計算效率和實現復雜度之間達到了最佳平衡。實際上，5分支的計算開銷相比單分支系統僅增加了約0.021%的參數量和0.010%的浮點運算次數，這種微小的額外成本與顯著的性能提升形成了極佳的性價比。

六、全方位的性能驗證

研究團隊設計了一套全面的評估體系，從標記器層面和下游應用層面兩個維度驗證StableToken的有效性。在標記器層面，他們使用單位編輯距離（UED）作為主要評估指標，衡量原始音頻和加噪音頻生成的標記序列之間的差異程度。

實驗涵蓋了多種類型的噪音：合成噪音（高斯噪音、粉色噪音、棕色噪音、位壓縮失真）和真實世界噪音。特別值得注意的是，研究團隊還測試了域外（OOD）真實噪音，這些噪音在訓練過程中從未見過，能夠真實反映系統的泛化能力。

結果顯示，StableToken在所有類型的噪音條件下都取得了顯著優勢。平均UED從最佳基線的26.17%降低到10.17%，相對改善幅度超過60%。這種優勢在域外噪音測試中依然保持，證明了系統的強泛化能力。即使使用比傳統標記器更大的詞匯表（8192 vs 4096），StableToken仍然實現了更好的穩定性，這一點尤其令人印象深刻，因為更大的詞匯表意味著更精細的決策空間和更高的穩定性挑戰。

在重構質量評估中，研究團隊訓練了流匹配模型將語音標記轉換回音頻。結果表明，穩定性的提升并沒有以犧牲重構質量為代價。StableToken在詞錯誤率和平均意見分數兩個關鍵指標上都達到了最先進水平，證明了其作為通用語音標記器的優秀性能。

七、下游應用中的卓越表現

標記器的最終價值體現在下游應用的性能表現上。研究團隊將StableToken集成到語音大語言模型框架中，在自動語音識別、語音情感識別和文本轉語音三個關鍵任務上進行了全面評估。

在自動語音識別任務中，StableToken展現出了優異的噪音魯棒性。隨著信噪比的降低，所有系統的性能都會下降，但使用StableToken的系統下降幅度明顯更小。在最嚴苛的域外真實噪音環境（0dB信噪比）下，StableToken系統的詞錯誤率為20.34%，相比最佳基線的29.94%實現了超過30%的相對改善。在專業的CHiME-4基準測試中，這種優勢同樣明顯：真實測試集上的詞錯誤率為35.90%，模擬測試集上為30.61%，均顯著優于基線系統。

語音情感識別任務的結果同樣令人鼓舞。在清潔音頻上，所有系統的性能相當，但隨著噪音水平的增加，性能差距逐漸拉大。StableToken系統在各種噪音條件下都保持了更高的分類準確率，證明了其在提取情感特征方面的穩定性。這種穩定性對于實際應用至關重要，因為真實環境中的語音往往伴隨各種背景噪音。

在文本轉語音任務中，StableToken的優勢主要體現在生成語音的清晰度和自然度上。由于輸入標記的一致性更高，下游的語音合成模型能夠學習到更穩定的映射關系，從而生成質量更高的語音。在SEED-TTS基準測試中，StableToken在詞錯誤率和平均意見分數兩個指標上都取得了最佳結果。

八、技術創新的深度解析

StableToken的技術創新體現在多個層面的精心設計。在架構層面，多分支投票機制不僅提供了容錯能力，還保持了較低的計算開銷。通過并行處理和精心的參數共享，系統在提供多倍冗余的同時，額外的計算成本控制在可接受范圍內。

在訓練策略層面，噪音意識共識訓練巧妙地解決了離散優化的困難。傳統的一致性訓練往往在離散空間中進行，梯度信號不穩定，訓練極其困難。StableToken通過在連續空間中施加一致性約束，然后在推理時進行離散化，避免了離散優化的陷阱。

比特級投票機制是另一個重要創新。與傳統的標記級投票相比，比特級投票具有更強的糾錯能力。即使某個標記在多數分支中都是錯誤的，只要構成這個標記的各個比特位上的錯誤是稀疏的，比特級投票仍能恢復出正確結果。這種細粒度的糾錯機制大大提高了系統的魯棒性。

訓練和推理策略的差異化設計也很值得關注。訓練時使用不對稱輸入（部分分支接收加噪音頻），而推理時所有分支接收相同輸入。這種設計既確保了訓練時的魯棒性學習，又保持了推理時的計算效率。

九、深入的實驗分析

研究團隊通過詳細的消融實驗驗證了每個組件的貢獻。移除共識損失會導致標記穩定性的顯著下降，證明了顯式一致性約束的重要性。移除噪音意識訓練進一步惡化了性能，特別是在語義保持方面。最后，將多分支架構簡化為單分支基線導致了整體性能的全面下降，突出了多路徑設計的核心價值。

案例研究提供了系統工作原理的直觀展示。在具體的標記序列中，研究團隊展示了比特級投票如何糾正個別分支的錯誤。例如，在某個位置上，噪音導致三個分支產生錯誤標記，但通過比特級分析，系統發現這些錯誤主要集中在少數幾個比特位上。通過多數投票，這些錯誤比特被正確比特覆蓋，最終恢復出正確的標記。

對不同投票者數量的分析揭示了性能和效率之間的權衡關系。從實驗數據可以看出，性能提升在5個分支時達到飽和點，進一步增加分支數量帶來的邊際收益遞減。這一發現為實際部署提供了重要指導，幫助在性能和計算成本之間找到最佳平衡點。

復雜度分析表明，StableToken的額外計算開銷主要來自并行分支的線性投影層。由于這些操作相對簡單且可以并行執行，實際的推理延遲增加微乎其微。參數量的增加也很有限，每增加一個分支僅增加約0.033M參數，這對現代硬件來說完全可以接受。

十、應用前景與現實意義

StableToken的成功為語音AI在真實環境中的應用開辟了新的可能性。傳統語音AI系統在實驗室環境中表現出色，但在嘈雜的現實環境中往往力不從心。StableToken的魯棒性提升使得語音AI能夠在更廣泛的場景中可靠工作。

在智能助手應用中，這種改進尤為重要。用戶經常在各種環境中使用語音助手：嘈雜的街道、擁擠的餐廳、甚至是風聲呼嘯的戶外。StableToken的穩定性確保了助手在這些挑戰性環境中仍能準確理解用戶意圖，提供一致的服務體驗。

對于語音會議和遠程協作系統，StableToken也具有重要價值。視頻會議中的背景噪音、網絡傳輸帶來的音質損失、多人同時說話造成的干擾，這些都是現實中常見的挑戰。更穩定的語音標記化能夠提高會議轉錄的準確性，改善語音驅動的協作工具性能。

在語音合成和語音轉換應用中，StableToken的穩定性轉化為更高質量的輸出。由于輸入表示的一致性提高，下游模型能夠學習到更可靠的映射關系，生成更自然、更清晰的語音。這對于語音克隆、多語言語音合成、個性化語音助手等應用都有重要意義。

更廣泛地說，這項研究展示了在AI系統中引入冗余和一致性約束的重要性。隨著AI系統在關鍵應用中的部署越來越廣泛，系統的魯棒性和可靠性變得至關重要。StableToken提供的技術思路——通過多路徑設計和共識機制提高穩定性——可能在其他AI領域也有借鑒價值。

展望未來，這種穩定性提升為構建更復雜的多模態AI系統奠定了基礎。當語音、視覺、文本等不同模態的信息需要融合處理時，每個模態的穩定性都至關重要。StableToken在語音模態上的成功為實現真正魯棒的多模態AI系統提供了重要的技術積累。

說到底，StableToken解決的不僅僅是一個技術問題，更是AI走向實用化過程中必須跨越的一道門檻。從實驗室的完美環境到現實世界的復雜場景，AI系統必須具備應對各種干擾和挑戰的能力。StableToken在語音AI穩定性方面的突破，為整個行業提供了寶貴的經驗和技術路徑。

對于普通用戶而言，這項技術的成熟應用意味著更可靠、更實用的語音AI服務。無論是在嘈雜的環境中使用語音助手，還是參與語音驅動的在線會議，用戶都能期待更穩定、更準確的AI響應。這種改進雖然在技術細節上復雜，但最終體現為用戶體驗的顯著提升，這正是技術進步的真正價值所在。

研究團隊承諾將在論文被接收后公開代碼和模型檢查點，這將進一步推動相關技術的發展和應用。對于有興趣深入了解技術細節的讀者，可以通過論文編號arXiv:2509.22220v1在arXiv平臺查閱完整的研究內容。

Q&A

Q1：StableToken是什么？它解決了什么問題？

A：StableToken是由北京大學和騰訊聯合開發的新型語音AI標記化技術。它主要解決現有語音AI系統在噪音環境下不穩定的問題——即使是很小的背景噪音也會讓AI生成完全不同的數字標記，導致語音助手在現實環境中表現糟糕。

Q2：StableToken的核心技術原理是什么？

A：StableToken采用多路徑投票機制，類似民主投票。它讓多個"評委"同時分析語音，然后在比特級別進行精細投票選出最可靠的結果。同時配合"噪音意識共識訓練"，讓系統學會在噪音干擾下保持穩定性，就像訓練合唱團在嘈雜環境中保持和諧。

Q3：StableToken相比傳統方法有多大改進？

A：實驗顯示StableToken將標記穩定性錯誤率從26.17%降低到10.17%，相對改善超過60%。在下游應用中，語音識別在嚴重噪音環境下的錯誤率降低30%以上，語音合成質量也顯著提升，且這些改進在各種噪音條件下都保持一致。