機器之心報道

編輯：張倩

挑戰自回歸的擴散語言模型剛剛迎來了一個新里程碑：螞蟻集團和人大聯合團隊用 20T 數據，從零訓練出了業界首個原生 MoE 架構擴散語言模型 LLaDA-MoE。該模型雖然激活參數僅 1.4B，但性能可以比肩參數更多的自回歸稠密模型 Qwen2.5-3B，而且推理速度更快。這為擴散語言模型的技術可行性提供了關鍵驗證。

萬萬沒想到，做奧數題都能拿金牌的模型，卻不會「倒著背詩」。

說完全不會，倒也不嚴謹。因為如果允許模型「深度思考」，給詩的每個字都編上號，然后倒著排一下，這詩也能背出來。然而，這與人類倒背文本的方式并不一樣 —— 人類記憶詩詞時，往往不是逐字死記，而是以句子、意境、節奏為單位，而倒背時則是在腦中「反向調用」這些單元。

研究者們在 2023 年的一篇論文中就提到了這個現象，并將其命名為「Reversal Curse（反轉詛咒）」。類似的表現還包括模型學習了「A is B（如巴黎是法國的首都）」之后，卻無法自然地推出「B is A（如法國的首都是哪里）」。

這個問題之所以被拎出來討論，是因為它會在一些需要模型同時理解前后文或逆向推理的場景中影響性能。

兩年過去，AI 大模型能力突飛猛進，但這一問題始終沒有得到本質上的解決。究其原因，這是當前大模型普遍采用的自回歸（AR）生成范式所造成的 —— 模型天然是單向建模的，從前往后依次生成下一個 token。這導致它們難以捕捉 token 之間的雙向依賴關系。

而且，自回歸的天然缺陷還不止這一個 —— 長文本的計算成本高、生成速度慢是常被詬病的問題，而且它缺乏直接修正錯誤的能力，還會導致錯誤產生連鎖反應。

面對這些問題，大量研究者選擇繼續改進自回歸，但也有人另辟蹊徑，嘗試新的建模范式。

螞蟻集團和中國人民大學高瓴人工智能學院組成的聯合研究團隊選擇的就是后者，他們探索的語言建模方向是「擴散（diffusion）」。

在他們之前，也有不少研究者在這一方向發力。但今年 2 月份，他們首次將擴散語言模型（dLLM）擴展至 8B 參數規模，推出了性能對標 LLaMA 3 的 LLaDA 模型。

自回歸模型的生成方式。

LLaDA 模型的生成方式。

LLaDA 一經發布就引起了廣泛關注，因為它通過非自回歸的掩碼擴散機制，首次在大規模語言模型中實現了與自回歸模型相當的語言智能（如上下文學習、指令遵循、多輪對話等），挑戰了「語言模型必須自回歸」的主流認知。

在過去的幾個月里，LLaDA 系列一直在快速迭代，衍生出了對齊能力更強的 LLaDA1.5、多模態版本的 LLaDA-V，以及剛剛在外灘大會上亮相的LLaDA-MoE

其中，LLaDA-MoE 尤為引人注目。它由螞蟻集團通用人工智能研究中心和人民大學聯合研發，是業界首個從零訓練的原生 MoE 架構擴散語言模型，在 20T 的數據上完成了訓練，驗證了此類模型大規模訓練的可擴展性和穩定性。

在效果上，它不僅超過了此前發布的稠密擴散語言模型 LLaDA1.0/1.5 和 Dream-7B，更是以 1.4B 激活參數比肩稠密自回歸模型 Qwen2.5-3B，并保有數倍的推理速度優勢。

可以說，LLaDA-MoE 是 dLLM 發展歷程中的又一個重要里程碑。

據悉，該模型將在近期完全開源，以推動全球 AI 社區在擴散語言模型上的技術發展。

這個模型具體表現如何？背后有哪些技術？為什么這類模型能 work？在發布會之后的一次訪談中，螞蟻通用人工智能研究中心主任藍振忠、中國人民大學高瓴人工智能學院副教授李崇軒透露了很多細節，我們將在本文中一一介紹。

左：李崇軒；右：藍振忠。

LLaDA-MoE

業界首個從零訓練的原生 MoE 架構擴散語言模型

經過 3 年多的迭代，dLLM 的發展已經進入成熟期。尤其在 LLaDA 模型發布之后，大家真正看到了這一類模型的可用性。很多研究已經把 LLaDA 作為基礎或主干模型來進行進一步微調或擴展。

不過，要想提升模型能力上限，dLLM 同樣必須進一步 scaling。而從自回歸的發展路徑來看，這一目標可以借助 MoE 來實現。

對于螞蟻和人大的聯合團隊來說，這又是一條未知的路，因為現有的擴散語言模型探索都是基于稠密架構，與 MoE 相關的預訓練、后訓練甚至推理都存在大量未知的難題。而且 MoE 本身就比較難訓練，在擴散這個新架構上做 MoE 則更加困難。

不過，藍振忠表示，真正去做了之后，他們發現這些「風險」其實都是可管理的。這很大程度上是因為，他們有一些關鍵的工程、資源積累可以依托：

首先是一些已經在自回歸模型上驗證過的 MoE 訓練經驗和技術積累 —— 無論是業界開源的還是螞蟻自身的經驗，其實很多都可以拿來復用，這幫助他們解決了一些諸如負載均衡、噪聲采樣 shift 之類的問題。

其次是高質量的數據基礎。團隊直接復用了螞蟻百靈大模型積累的 20T 數據，節省了大量人力物力。

最后是完善的工程基礎設施。螞蟻自研的 ATorch 訓練框架已經具備專家并行（EP）等一系列并行加速技術，能夠為大規模 MoE 訓練提供強有力的技術支撐。同時，螞蟻算力集群的穩定性確保了 20T 數據量級別的工業級訓練能夠高效穩定完成。

正是基于這些關鍵積累，團隊最終成功打造出了 LLaDA-MoE。這是一個總參數量為 7B 的模型，激活參數量為 1.4B。目前，LLaDA-MoE 有兩個版本：基礎模型版 LLaDA-MoE-7B-A1B-base 和指令微調版 LLaDA-MoE-7B-A1B-Instruct。

HuggingFace 鏈接：https://huggingface.co/inclusionAI/LLaDA-MoE-7B-A1B-baseGitHub 鏈接：https://github.com/ML-GSAI/LLaDA

在各項 benchmark 測試中，LLaDA-MoE 超越了現有的開源稠密 dLLM 模型，如 LLaDA1.0/1.5 和 Dream-7B，在代碼、數學、Agent 這類相對結構化的任務上優勢明顯。此外，模型效果也追平了 Qwen2.5-3B 這個用同樣數據量訓練的稠密自回歸模型，由此實現了 1.4B 激活參數，達到 2 倍多參數稠密模型的等效比。這說明 MoE 架構性能放大器的作用在 dLLM 上也成立。團隊表示，他們后續將繼續挖掘等效比這個 scaling law，探索更高稀疏比、更大尺寸的 MoE 擴散語言模型，以進一步釋放 LLaDA-MoE 的規模化潛力。

同時，他們還在 dLLM 推理加速方面持續投入，針對 dLLM 的并行特性，從算子融合、計算圖優化、并行加速、緩存管理、并行解碼等多個方面進行了全面優化，相比開源 SOTA 的 NVIDIA fast-dLLM 推理引擎實現了顯著加速。相關代碼與技術報告也將于近期開源、公布，以助力 dLLM 技術的快速發展。

擴散語言模型

為什么能 work？

在藍振忠、李崇軒看來，dLLM 能走到今天，有一定的必然性，因為無論從底層理論還是實踐經驗來看，這個方向都有著巨大的潛力。

首先，從理論上來看，李崇軒指出：從概率建模的角度來看，大語言模型的關鍵并不是必須依賴自回歸展開，而是能否有效地表示和學習高維復雜的聯合概率分布，即通過最大似然估計或最小化 KL 散度來逼近真實語言分布。

自回歸的優勢在于通過鏈式法則把難以直接建模的聯合概率分解為逐步的條件概率，從而簡化了訓練和優化過程，但這種方式并不是唯一的。擴散模型提供了另一條路徑：它不依賴固定的從左到右生成順序，而是通過迭代的去噪過程逐漸逼近數據分布，這種過程同樣能夠刻畫高維概率，只是采取了「由粗到細」的動態修正方式。

李崇軒特別指出，很多人們認為是自回歸獨有的性質，比如指令跟隨、In-context Learning、壓縮能力和可擴展性，其實更深層次上都源于最大似然估計這一共同的學習準則，而不是自回歸本身。

例如，條件概率建模賦予模型指令跟隨和對話能力，信息論意義上的最大似然保證了壓縮特性，而優化的簡潔性和與 Transformer 架構的兼容性則保證了可擴展性。這些性質同樣可以在擴散模型里出現。

與此同時，自回歸范式也存在固有局限：完成時間與輸出長度成正比、只能單向展開、缺乏直接修正錯誤的能力。而擴散模型在這些方面提供了潛在優勢，它天然支持并行解碼、雙向建模和迭代修正：

并行解碼意味著生成過程不必逐 token rollout，而是可以在有限步數內同時更新多個位置，使得推理迭代次數與輸出長度不再嚴格掛鉤，在長文本場景下更具效率潛力。此外，這種并行性還有望帶來算力利用率的提升。傳統自回歸推理由于串行瓶頸，往往導致 GPU 大量算力處于空閑狀態；而擴散模型的并行更新方式則能夠在每一次迭代中充分調動大規模矩陣運算，更好地發揮硬件性能，從而在單用戶使用時也能保持較快的響應速度，避免了自回歸推理那種因為缺乏并發而浪費算力的情況。雙向建模讓模型能夠同時利用前后文信息來重構序列，從而提升全局一致性和邏輯連貫性，在圖文并茂等沒有嚴格從前到后順序的多模態場景中也更加自然。迭代修正則帶來靈活的交互方式：當輸出中某一部分有錯誤或需要修改時，擴散模型可以只針對局部片段重新采樣，而不必推倒重來。這種能力尤其適合代碼生成、文檔編輯等需要頻繁調整的場景。

此外，有證據表明，在同樣的數據量下，擴散語言模型的學習效果比自回歸模型更好。具體表現為，在有限數據場景中，自回歸模型往往在幾輪數據復用之后便迅速進入收益遞減階段，而擴散模型則能夠持續從重復數據中榨取增量信息（dLLM 的數據利用效率可以達到 AR 的 3 倍以上）；即便在極端重復的條件下，dLLM 依然能夠不斷提升在下游任務中的能力。

這種「榨干」數據的能力和 dLLM 的雙向建模機制密切相關。傳統的自回歸模型采用嚴格的因果性建模方式，每個 token 的預測只能基于前面的 token，這種單向的信息流限制了模型對數據中復雜依賴關系的捕獲。而 dLLM 通過掩碼機制實現了真正的雙向建模，允許模型在任意順序下理解和生成文本。

從技術層面看，擴散模型的訓練目標本身就要求對每個數據點進行多種不同的掩碼配置和比例的處理。這意味著每次重復同一份數據時，模型實際上是在學習該數據的不同「視角」—— 不同的掩碼模式暴露了數據中不同的上下文依賴關系。相比之下，自回歸模型在重復訓練時只是在強化相同的從前到后的預測模式。

這種數據效率優勢在當前 AI 發展階段具有特殊意義。隨著高質量預訓練數據逐漸稀缺，而計算資源變得相對充裕，用更多計算換取更好的數據利用率成為了一個合理的權衡。擴散語言模型雖然在訓練和推理時需要消耗更多 FLOPs，但這種「超密度計算」帶來的智能提升可能是值得的。

在 LLaDA 系列模型的研究中，螞蟻和人大的聯合團隊已經驗證了擴散語言模型的一些理論優勢和工程可行性，讓這個充滿「不確定」的方向逐漸變得清晰、明朗起來。但要想充分兌現這一方向的潛力，他們還有很多問題需要克服，比如如何把理論上的速度優勢在工程中真正實現，如何把模型 scale 到更大規模，如何設計類似 KV cache 的緩存機制，如何解決可變長度問題等。隨著 LLaDA 系列模型的開源，這些問題有望借助社區的力量來共同解決。

「這個方向需要更多聰明的人參與進來，就像自回歸模型的發展依靠了全世界的貢獻，擴散語言模型的發展同樣需要借助社區的力量?！顾{振忠在采訪中說到。

跳出常規思維

探索智能上限

在談到打造 LLaDA-MoE 的難點時，李崇軒提到：其實最難的一點是「下決心」，因為這件事沒有人做過，「大家不知道能不能成」。

談到這個「下決心」的過程，藍振忠表示：「如果你不去探索那些在別人眼中可能充滿風險的領域，我們就只能永遠跟隨他人已經確定的路徑前行。我們要提升智能的上限，就不能一直 follow?！?/p>

當然，這種冒險是建立在理性判斷的基礎上。正如前文所言，在理論研究和實踐的過程中，團隊逐漸確信：擴散語言模型是一個有希望落地且風險可控的方向，而且在提升智能上限方面非常有潛力。因此，當他們真正決定投入資源去構建 LLaDA-MoE 時，這不僅是一次技術上的嘗試，更是一次主動打破路徑依賴、以不確定性換取未來上限的戰略性選擇。

能做出這種戰略選擇，對螞蟻來說不是偶然。對這種前瞻性方向的判斷和大力投入，在螞蟻也有先例，比如百靈大模型的開源，推理框架 AReaL、多智能體框架 AWorld 的布局等等。

此外，藍振忠所領導的通用人工智能研究中心還在向其他前沿方向發力，比如動態 MoE 架構的創新、混合線性架構的探索等。

這些方向全都圍繞一個「北極星」指標 —— 通用人工智能（AGI）。他們希望通過不斷的創新，把智能推到一個新高度。

我們也希望看到他們在這一方向取得更多進展。

https://jinjieni.notion.site/Diffusion-Language-Models-are-Super-Data-Learners-239d8f03a866800ab196e49928c019ac#244d8f03a866808fb358d7a97bbd26f2