機器之心發布

機器之心編輯部

今年，文本生成領域迎來了從自回歸（Auto-Regressive）向擴散語言模型（Diffusion LM）的重要范式轉變。然而，長序列訓練的不穩定性一直是制約擴散模型發展的核心痛點。上下文窗口限制使得模型在處理復雜的數學推理、編程任務，尤其是需要深度推理的「慢思考」場景時，顯得捉襟見肘。

華為近日正式發布 openPangu-R-7B-Diffusion，基于openPangu-Embedded-7B 進行少量數據（800B tokens）續訓練，成功將擴散語言模型的上下文長度擴展至 32K

在「慢思考」能力的加持下，該模型在多個權威基準中創下了 7B 參數量級的全新 SOTA 紀錄：

多學科知識（MMLU-Pro）：超越 16B 參數量的 LLaDA 2.0-mini-preview22%數學推理（MATH）：得分，大幅領先同類模型。代碼生成（MBPP）：得分，展現出卓越的邏輯泛化能力。

base模型鏈接：https://ai.gitcode.com/ascend-tribe/openPangu-7B-Diffusion-base慢思考模型鏈接：https://ai.gitcode.com/ascend-tribe/openPangu-R-7B-Diffusion

接下來，我們將深入解析這款模型背后的技術革新。

1. 架構創新：

前文因果注意力掩碼，自回歸到 BlockDiffusion 的無縫遷移

openPangu-R-7B-Diffusion 在注意力機制上并未沿用傳統擴散模型（如 LLaDA）的全注意力（Full Attention），也未采用 SDAR 或 Fast-dLLMv2 的分塊掩碼（Block Attention），而是創新性地融合了自回歸的前文因果注意力掩碼（Causal Attention Mask）。

這一設計從根本上解決了架構適配難題：

消除適配壁壘：以往將自回歸模型適配至擴散模型，往往需要 Attention Mask Annealing 或 Shift Operation 等復雜操作來彌合差異。而 openPangu-R-7B-Diffusion 通過保留前文的因果注意力特性，使得模型僅需從「預測 Next Token」轉變為「預測 Next Block 中的 Mask Token」，極大地降低了適配成本。兼容性最大化：該設計讓模型能夠自然繼承自回歸模型的預訓練知識，為長窗口訓練打下堅實基礎。

2. 訓練與推理：雙模式解碼與效率倍增

在訓練策略上，openPangu-R-7B-Diffusion 延續了 BlockDiffusion 的思路（拼接帶掩碼的 Block 與無掩碼的 Context），但進行了關鍵優化：

Context 利用率 100%：傳統方法往往忽略無掩碼 Context 部分的 Loss 計算，導致一半的數據被浪費。openPangu-R-7B-Diffusion 則將這部分數據用于標準的自回歸 Next Token Prediction 訓練。雙模式解碼：這種訓練方式賦予了模型「自回歸 + 擴散」的雙重解碼能力。用戶可以通過不同的采樣設置，靈活權衡生成質量與速度。極致性能：模型完整保留了變長推理與 KV-Cache 特性。在并行解碼模式下，其速度最高可達自回歸解碼的2.5 倍

可視化實測：親眼見證「慢思考」與擴散生成的融合

為了更直觀地展示 openPangu-R-7B-Diffusion 的工作機制，我們對模型的推理過程進行了可視化處理。

在輸入一道經典的數學邏輯推理題（Claire 的煎蛋問題）后，我們可以清晰地觀察到擴散語言模型的獨特生成方式：模型并非像傳統自回歸模型那樣「逐詞蹦出」，而是在 4 個生成步數（Generation Steps）內，并行地將多個 [MASK] 噪聲逐步去噪還原為

、Claire、makes 等清晰的語義 Token。

圖中首位的Token 尤為關鍵，它標志著模型正在啟動我們前文提到的 「慢思考」模式。這種結合了擴散并行生成與深度思維鏈（Chain-of-Thought）的能力，正是 openPangu-R-7B-Diffusion 能夠在數學和編程基準上大幅超越同類模型的核心原因。

結語：開啟擴散語言模型的新篇章

openPangu-R-7B-Diffusion 的發布，不僅僅是一個新模型的開源，更是對「擴散模型能否處理復雜長文本」這一難題的有力回應。憑借其創新的因果注意力掩碼架構，它成功證明了擴散模型不僅可以「快」（并行解碼），更可以「深」（32K 長文與慢思考）。

值得一提的是，openPangu-R-7B-Diffusion 的訓練、推理及評測全流程均在昇騰 NPU集群上完成，有力證明了國產算力在以前沿擴散語言模型領域的強勁實力。