機器之心發布

機器之心編輯部

隨著大模型推理和 Agent 工具調用能力的快速發展，其通過反復搜索處理復雜信息需求的效果愈發受到業界關注。近日，第三方評測機構 SuperCLUE 發布 11 月 DeepSearch 評測報告，國產大模型 openPangu-R-72B 憑借在長鏈推理、復雜信息檢索領域的卓越表現，在模型榜單中名列第一，體現了基于國產昇騰算力的大模型研發實力。

這款 MoE 架構模型，究竟藏著哪些技術秘密，能在激烈競爭中脫穎而出？

硬核技術底座：

MoE 架構下的效率與性能平衡術

openPangu-R-72B 為考慮效率和性能平衡，重新設計了模型底座架構。作為基于昇騰集群訓練的 MoE（混合專家）模型，它采用 80 選 8 的專家選擇機制，在 74B 總參數量的基礎上，將激活參數量控制在 15B，既保留了大模型的復雜推理能力，又有效降低了計算開銷。24T tokens 的訓練數據與 128k 長序列處理能力，為其處理深度搜索任務中的長文本信息奠定了基礎。

為實現穩定收斂與效果提升，openPangu 團隊在預訓練技術上完成了以下優化。

圖. openPangu-R-72B 模型架構

1）注意力機制層面引入參數式 Sink Token 技術：有效緩解了極大激活值問題，不僅提升了訓練過程的穩定性，也對后續量化更加親和；

2）采用 K-Norm 與 Depth-Scaled Sandwich-Norm 組合的架構，其中 K-Norm 僅對 attention 的 key 施加 RMS Norm，在達到與 QK-Norm 相當穩定性的同時，降低計算開銷，還保留了 Query 更靈活的表達能力。

3）注意力架構的優化兼顧了精度與效率：通過增加 Query 頭數和注意力頭維度，讓模型能從更多角度捕獲細粒度語義關系；引入 Partial RoPE 機制，僅對 Query 和 Key 中 1/3 維度應用位置編碼。通過將 KV 組數量減半，在 Key 頭維度增加的情況下，仍實現了 37.5% 的 KV cache 縮減，平衡了推理階段的顯存占用、速度與模型效果。

4）Adaptive Aux Free 負載優化技術：Aux free 升級版本，通過自適應調整各個專家負載 bias 的更新幅度，有效減少均衡震蕩，讓專家負載分布更均衡。

DeepSearch 專項突破：

三大優化破解復雜搜索難題

如果說技術底座是基礎，那么針對深度搜索任務的后訓練優化則是 openPangu-R-72B 登頂的關鍵。深度搜索作為大模型訪問互聯網獲取深度信息的核心能力，其長鏈推理與工具調用水平直接決定模型的實用價值。openPangu-R-72B 通過后訓練階段進行長鏈難題合成、非索引信息處理、快慢思考融合三大策略，顯著提升了模型 DeepSearch 能力。

圖.openPangu-R-72B 模型深度搜索任務執行流程，該流程同時用于模型訓練和評測

1）在長鏈 QA 難題合成方面，openPangu 團隊在 DeepDiver-V2 和 WebExplorer 技術基礎上，通過 query 條件模糊化將問題平均難度提升 10%，同時借鑒《Pushing Test-Time Scaling Limits of Deep Search with Asymmetric Verification》工作的思想，引入 verification agent，大幅提升用于訓練問答對的準確性，讓模型在復雜推理場景中 “見多識廣”。

2）針對傳統搜索引擎難以覆蓋的非索引知識問答 —— 如官網附件中的財務數據、學術論文引文信息獲取等場景，模型訓練過程中注入了 “Planner 聚焦關鍵 URL+ URL_crawler 爬取網頁 + document_QA 識別下一步瀏覽鏈接” 的循環工作流，通過同一站點內的多跳瀏覽實現了深度信息搜集，突破了傳統搜索引擎的信息邊界。

3）步驟級快慢融合策略則讓模型的 “思考” 更具效率。DeepSearch 的 ReACT 執行過程中，不同步驟的思考強度差異顯著 ——document_QA 需分析海量網頁數據與表格，對推理精度要求更高；而普通工具調用步驟更側重效率。為此，模型為不同步驟匹配不同思考模式：document_QA 啟用慢思考保障精度，其他步驟采用快思考提升速度，實現了精度與效率的平衡。

國產算力賦能：

openPangu 系列模型彰顯集群優勢

此次 SuperCLUE DeepSearch 評測登頂，不僅是 openPangu-R-72B 模型能力的體現，也彰顯了國產算力與大模型研發深度融合的成效。作為基于昇騰集群訓練的代表模型，openPangu-R-72B 證明了國產算力平臺在支撐大參數量、高復雜度模型研發方面的堅實能力。

值得關注的是，openPangu-R-72B 的兄弟模型openPangu-718B在同期 SuperCLUE 通用榜單中斬獲第二名，展現了該系列在不同任務場景下的全面實力。從深度搜索的 “單點突破” 到通用能力的 “全面開花”，openPangu 系列正以昇騰算力為根基，為國產大模型生態注做出更多貢獻。

隨著大模型在企業服務、學術研究、政務處理等領域的深度落地，深度搜索能力將成為模型實用化的核心競爭力。未來，隨著 openPangu 系列模型的持續迭代，我們期待國產大模型在更多全球頂級評測中綻放光彩。