該項目由北京大學彭一杰教授課題組完成，第一作者為任韜，其他作者包括江金陽、楊暉等。

研究背景與挑戰(zhàn)：大模型后訓練陷入「均值陷阱」，推理能力難破界

當強化學習（RL）成為大模型后訓練的核心工具，「帶可驗證獎勵的強化學習（RLVR）」憑借客觀的二元反饋（如解題對錯），迅速成為提升推理能力的主流范式。從數(shù)學解題到代碼生成，RLVR 本應推動模型突破「已知答案采樣」的局限，真正掌握深度推理邏輯 —— 但現(xiàn)實是，以 GRPO 為代表的主流方法正陷入「均值優(yōu)化陷阱」。

這些基于均值的優(yōu)化策略，過度聚焦高概率輸出序列，卻忽略了「低概率但高信息密度」的推理路徑：模型訓練早期就會出現(xiàn)熵坍縮，過早喪失探索能力；面對全錯的難題時，優(yōu)勢函數(shù)直接歸零，模型在薄弱環(huán)節(jié)完全無法學習。最終結(jié)果是，大模型看似在 Pass@1 等短視指標上有提升，實則推理邊界從未拓寬，更無法應對 AIME 競賽題、復雜代碼生成這類高難度任務。如何讓模型主動「啃硬骨頭」，成為大模型后訓練的關鍵瓶頸。

AIME2024 上的學習表現(xiàn)

技術(shù)方案概述：用「風險度量」破局，MVaR + 捆綁策略雙管齊下

為解決傳統(tǒng)均值優(yōu)化的缺陷，北大團隊提出 RiskPO，核心突破在于將風險規(guī)避（risk-averse）理念融入優(yōu)化目標，用「關注獎勵分布左尾（難任務）」替代「追求整體均值」，從根本上引導模型突破推理短板。

論文鏈接：https://arxiv.org/abs/2510.00911v1代碼鏈接：https://github.com/RTkenny/RiskPO

為配合 MVaR 目標，團隊提出「多問題捆綁」策略，將多個問題打包成 bundle 計算獎勵，把稀疏的二進制反饋轉(zhuǎn)化為更豐富的分布信號，徹底解決「難題零梯度」問題—— 比如將 5 個數(shù)學題打包后，模型能從整體得分中捕捉到「部分正確」的學習信號，而非單個題目非對即錯的極端反饋。

算法架構(gòu)圖

實驗：三大任務全面碾壓，難問題上優(yōu)勢更顯著

好的技術(shù)方案，終要靠硬指標說話。北大團隊在數(shù)學推理、代碼生成、多模態(tài)推理三大領域的 10 余個數(shù)據(jù)集上，用數(shù)據(jù)證明了 RiskPO 的突破性 —— 尤其在最能體現(xiàn)推理能力的「硬任務」上，優(yōu)勢遠超 GRPO 及其變體。

在數(shù)學推理領域，RiskPO 在 AIME24（美國數(shù)學邀請賽）任務上表現(xiàn)驚艷：Pass@32 得分比 GRPO 高出近 7 個百分點，比最強基線 DAPO 提升 6.7 個百分點；即便是相對簡單的 MATH500 數(shù)據(jù)集，其 Pass@1 也達到 81.8%，超出 GRPO 2.6 個百分點。

更關鍵的是，隨著評估指標從 Pass@1 轉(zhuǎn)向 Pass@8、Pass@16，RiskPO 的優(yōu)勢持續(xù)擴大 ——這意味著模型不僅能給出更優(yōu)的單條答案，還能探索更多有效推理路徑，真正突破了「采樣效率優(yōu)化」的局限。

數(shù)學推理任務

Pass@k 學習曲線

在跨領域任務中，RiskPO 同樣穩(wěn)定領先：代碼生成任務 LiveCodeBench 上，Pass@1 比 GRPO 提升 1 個百分點；多模態(tài)幾何推理任務 Geo3K 上，準確率達到 54.5%，優(yōu)于 DAPO 的 54.3%。這種「全場景增益」，證明了風險度量優(yōu)化的泛化能力。

其他任務

理論 + 消融：熵坍縮緩解有依據(jù)，參數(shù)設計有章法

RiskPO 的性能突破，并非依賴工程調(diào)參，而是有扎實的理論支撐和嚴謹?shù)南趯嶒烌炞C。

高熵更新定理

從理論層面，團隊證明了「風險規(guī)避更新」能有效緩解熵坍縮：通過分析策略熵的變化機制，發(fā)現(xiàn) RiskPO 的 MVaR 目標函數(shù)能降低「優(yōu)勢 - 對數(shù)概率」的相關性 —— 相比 GRPO，模型不會過度強化已掌握的易任務，從而保持更高的熵值和探索能力。

實驗中也能清晰看到：訓練 500 步后，GRPO 的熵值已趨近于 0，而 RiskPO 仍能維持 0.2 以上的熵水平，確保對難任務的持續(xù)探索。

訓練集 DAPOMATH-17k 上的各項指標

值得注意的是，在訓練過程中，若僅觀察以均值為核心的指標曲線（如平均獎勵），GRPO 與 RiskPO 的表現(xiàn)幾乎難分伯仲，甚至 RiskPO 因更高的探索性還伴隨輕微波動；但切換到風險敏感指標（如下尾 RVaR、MVaR 獎勵）時，兩者差距立刻凸顯 ——RiskPO 的曲線始終保持顯著領先，且隨訓練推進持續(xù)攀升。

這種「均值相近、風險指標懸殊」的現(xiàn)象，再結(jié)合最終測試集上 RiskPO 在 Pass@k（尤其是高 k 值）、難任務（如 AIME 競賽題）上的優(yōu)勢，進一步印證了：均值目標只能讓模型在「已知能力范圍內(nèi)優(yōu)化采樣效率」，而風險度量目標才是推動模型突破推理邊界、真正提升核心能力的理想方向。

不同風險偏好對比實驗

結(jié)果顯示，風險尋求模型的熵值在訓練早期就劇烈坍縮—— 訓練 150 步后熵值已降至 0.1 以下，遠低于 RiskPO 的 0.2；性能上，風險尋求模型在訓練 50 步后便進入平臺期，MATH 數(shù)據(jù)集 Pass@1 僅從 52% 提升至 54%，而 RiskPO 則持續(xù)優(yōu)化至 56%，實現(xiàn) 1.5 倍的提升幅度。

這一對比清晰證明，聚焦易任務的風險尋求策略會加速模型「固步自封」，只有風險規(guī)避才能驅(qū)動模型突破推理邊界