這項由浙江大學宋明理教授團隊與李想汽車等機構合作完成的研究發表于2025年8月，論文標題為《打破探索瓶頸：面向通用大語言模型推理的基于評分準則的腳手架強化學習》。有興趣深入了解的讀者可以通過arXiv:2508.16949獲取完整論文。

人工智能就像一個正在學習的孩子，它需要通過不斷嘗試和犯錯來提高自己的能力。當孩子在學習解決復雜問題時，如果沒有適當的指導和支持，往往會陷入困境，反復犯同樣的錯誤。這正是當前大語言模型面臨的核心問題——它們在學習過程中容易陷入"探索瓶頸"，就像一個孩子在迷宮中反復走進死胡同，無法找到新的出路。

研究團隊發現了一個有趣的現象：目前最先進的AI訓練方法，比如讓ChatGPT和Claude變得更聰明的強化學習技術，存在一個根本性的矛盾。這就好比教練想要訓練一名游泳運動員，但這名運動員只能在他已經會游的那部分泳池里練習，永遠接觸不到更深、更具挑戰性的水域。AI模型也是如此，它們只能在自己原有能力范圍內打轉，很難真正突破到新的思維層次。

更糟糕的是，隨著訓練的進行，這些AI模型的"思維"會變得越來越狹窄，就像一個原本充滿想象力的孩子，隨著年齡增長反而變得思維僵化。這種現象被稱為"策略熵坍塌"，簡單來說就是AI的思路越來越單一，失去了探索新解決方案的能力。

為了解決這個問題，研究團隊開發了一種名為"RuscaRL"的新方法。這個名字來源于"Rubric-Scaffolded Reinforcement Learning"，意思是"基于評分準則的腳手架強化學習"。我們可以把這種方法想象成給正在學習蓋房子的工人提供腳手架支撐。腳手架不是房子的一部分，但它能幫助工人安全地到達更高的地方，完成原本無法獨立完成的工作。

一、什么是"腳手架學習法"？

RuscaRL的核心思想就像教育心理學中的"腳手架教學"?；貞浺幌履阈r候學騎自行車的經歷：最開始，父母會在后面扶著你，給你信心和支撐；隨著你技術的提高，他們會逐漸松手，讓你獨立騎行。這個過程中，父母的支撐就是"腳手架"——它在你需要的時候提供幫助，在你能夠獨立完成時逐漸退出。

傳統的AI訓練方法就像讓孩子在沒有任何指導的情況下自己摸索如何騎車，結果往往是反復摔倒，進步緩慢。而RuscaRL方法則為AI提供了智能的"腳手架"，這個腳手架有兩個神奇的特性：首先，它能夠根據AI的學習進度自動調整支撐力度；其次，它使用的是"檢查清單"式的指導方法。

這里的"檢查清單"就像醫生給病人看病時使用的診斷清單一樣。比如，當AI要回答一個醫學問題時，檢查清單可能包括："回答是否包含準確的醫學信息？邏輯是否清晰？是否考慮了患者的具體情況？是否提到了可能的風險？"通過這樣的清單，AI就能明確知道一個好答案應該包含哪些要素。

研究團隊發現，這種方法特別適合處理那些沒有標準答案的復雜問題。在數學題中，答案要么對要么錯，很容易判斷；但在醫療咨詢、創意寫作或法律分析等領域，問題的答案往往是多維度的，需要綜合考慮多個因素。傳統的強化學習方法在這類問題上往往表現不佳，因為它們無法提供足夠詳細和準確的反饋信號。

二、雙重魔力：探索與利用的完美平衡

RuscaRL的巧妙之處在于它同時解決了AI學習中的兩個關鍵問題：如何更好地探索新可能性，以及如何更準確地評估學習效果。這就像一個探險家既需要指南針指示方向，也需要地圖來評估已經走過的路徑。

在探索階段，RuscaRL使用了一種叫"組內腳手架差異化"的策略。想象一個班級里有8個學生在解同一道題，傳統方法會給每個學生完全相同的提示，結果大家的答案都很相似。而RuscaRL的做法更像一位經驗豐富的老師：給第一個學生提供詳細的解題步驟，給第二個學生提供中等程度的提示，給第三個學生只給出關鍵思路，讓最后一個學生完全獨立思考。這樣一來，同一個班級就能產生多樣化的解題思路，增加了找到最佳解決方案的可能性。

更令人驚嘆的是"組間腳手架衰減"機制。就像學騎自行車時父母逐漸松手一樣，RuscaRL會在訓練過程中逐漸減少對AI的指導。這個減少過程遵循一個精心設計的數學函數，確保在AI最需要幫助的早期階段提供充分支持，在AI能力逐漸增強后逐步撤回輔助，最終讓AI具備獨立思考的能力。

在評估階段，RuscaRL采用了"多維度評分"的方法。傳統的評估方式就像用一個簡單的"好"或"壞"來評價一道菜，而RuscaRL的評估更像專業的美食評論，會分別評價菜品的色香味、營養搭配、創意程度等多個維度。對于一個醫學問答，它會分別評估回答的準確性、完整性、實用性、安全性等多個方面，然后綜合這些評分得出最終的質量判斷。

三、令人震撼的實驗結果

研究團隊在多個數據集上測試了RuscaRL的效果，結果令人震撼。在HealthBench-500這個專門用來測試AI醫療咨詢能力的數據集上，使用RuscaRL方法訓練的Qwen-2.5-7B模型的得分從23.6分躍升到50.3分，這個提升幅度相當于讓一個中等學生的成績提升到優等生水平。更令人驚嘆的是，這個相對較小的模型竟然超越了GPT-4.1的表現。

當研究團隊將RuscaRL應用到更大的模型Qwen3-30B上時，結果更加驚人：該模型在HealthBench-500上的得分達到了61.1，甚至超過了OpenAI最新發布的o3模型。這就像讓一個天賦不錯的學生通過科學的訓練方法，最終超越了原本更有天賦的競爭對手。

為了驗證方法的通用性，研究團隊還在數學推理領域進行了測試。雖然在STEM領域的提升相對較?。ㄒ驗閿祵W問題通常有明確的對錯標準，傳統強化學習方法已經比較有效），但RuscaRL仍然在MATH-500、AIME等多個數學競賽數據集上取得了穩定的性能提升。

特別值得注意的是，RuscaRL在不同規模和不同系列的模型上都展現出了一致的改進效果。從3B參數的小模型到32B參數的大模型，從Qwen系列到Llama系列，所有測試的模型都在應用RuscaRL后獲得了顯著的性能提升。這種普適性表明，RuscaRL發現的是AI學習的基本規律，而不僅僅是針對特定模型的技巧。

四、"最佳選擇"測試：能力上限的突破

研究團隊還進行了一項名為"Best-of-N"的特殊測試，這項測試就像讓AI參加一場特殊的考試：每道題可以答N次，然后選擇其中最好的答案作為最終成績。這種測試能夠反映AI的"能力上限"——在有充足時間和機會的情況下，AI最好能表現到什么程度。

結果顯示，使用RuscaRL訓練的模型不僅在單次回答的質量上有顯著提升，在"能力上限"方面也有大幅改善。當N=1（只能回答一次）時，RuscaRL模型就已經展現出明顯優勢；當N增加到2048時，RuscaRL模型的最高分數比原始模型和傳統強化學習方法都要高出一大截。這表明RuscaRL不僅提高了AI的平均水平，更重要的是擴展了AI能夠達到的思維邊界。

更令人印象深刻的是，RuscaRL模型的"學習效率"也更高。在相同的嘗試次數下，它能更快地找到高質量的答案。這就像一個經過科學訓練的學生，不僅最終成績更好，而且解題速度也更快，體現出真正的能力提升而非單純的"題海戰術"。

五、深入機制：為什么RuscaRL如此有效？

為了理解RuscaRL為什么如此有效，研究團隊進行了詳細的機制分析。他們發現，傳統強化學習方法存在一個根本性問題：隨著訓練進行，AI的思維模式會變得越來越固化，就像水流總是選擇阻力最小的路徑，AI也會傾向于使用它已經熟悉的解題思路，而不去探索新的可能性。

通過分析訓練過程中的"策略熵"變化，研究團隊發現了一個有趣的現象。在傳統方法下，AI的思維多樣性（策略熵）會單調下降，就像一個原本思路活躍的人逐漸變得思維僵化。而RuscaRL展現出了一個理想的學習曲線：在訓練初期，AI的思維多樣性實際上是增加的，這意味著它在積極探索各種可能的解決方案；隨著訓練進行，多樣性開始下降，但這種下降是健康的，表明AI正在收斂到高質量的解決方案上。

研究團隊還分析了AI生成回答的"新穎性"。他們計算了訓練后的模型生成的回答與原始模型回答的差異程度，發現RuscaRL能夠讓AI生成那些原本被認為"幾乎不可能"的高質量回答。具體來說，RuscaRL訓練的模型能夠生成321個"重要性比值大于2"的回答（即比原始模型困難2倍以上的回答），其中甚至有7個回答的重要性比值超過100，這意味著這些回答對原始模型來說幾乎是不可能生成的。

六、技術創新的核心：智能腳手架設計

RuscaRL的技術創新主要體現在兩個方面的巧妙設計。首先是"組內差異化腳手架"機制。在傳統的強化學習中，每次訓練都會生成多個候選答案，但這些答案往往趨同，缺乏多樣性。RuscaRL通過給不同的候選答案提供不同程度的指導來解決這個問題。

具體來說，如果一次訓練要生成8個候選答案，RuscaRL會給第一個答案提供100%的腳手架支持（包含所有評分準則的指導），給第二個答案提供約86%的支持，給第三個答案提供約71%的支持，以此類推，直到第八個答案只提供14%的支持。這種梯度化的支持策略確保了候選答案的多樣性，同時也讓AI能夠學習到從"有指導"到"獨立思考"的完整過渡過程。

其次是"組間衰減腳手架"機制。這個機制使用了一個精心設計的數學函數來控制腳手架的衰減過程。研究團隊選擇了sigmoid函數（S型曲線），這種函數的特點是開始時變化緩慢，中期變化迅速，后期又趨于平緩。這完美符合學習的自然規律：初學時需要持續的支持，掌握基礎后需要快速適應獨立操作，最后在精通階段需要穩定的自主能力。

七、實際應用：從理論到實踐的橋梁

RuscaRL的實際應用潛力巨大，特別是在那些需要復雜判斷和多維度思考的領域。在醫療咨詢場景中，AI需要綜合考慮患者癥狀、醫學知識、用藥安全、心理安慰等多個方面。傳統的訓練方法往往讓AI只關注其中一兩個方面，而RuscaRL通過評分準則的指導，能讓AI學會全面考慮各種因素。

在法律咨詢領域，一個好的法律建議需要準確引用法條、分析案例相似性、考慮實際操作的可行性、評估風險等級等。RuscaRL可以將這些要求轉化為具體的評分準則，幫助AI學會像經驗豐富的律師一樣進行全面分析。

在創意寫作方面，優秀的文章需要在內容準確性、語言流暢性、邏輯連貫性、創意獨特性等多個維度都有良好表現。RuscaRL可以幫助AI學會平衡這些往往相互沖突的要求，創作出更高質量的內容。

八、深度分析：訓練動態的奧秘

研究團隊對訓練過程進行了深入的動態分析，揭示了RuscaRL成功的深層原因。他們發現，在沒有腳手架衰減機制的情況下，AI模型雖然能夠獲得更高的多樣性，但這種多樣性是不穩定的，可能導致訓練崩潰。這就像學騎自行車時如果父母突然完全松手，孩子可能會因為缺乏準備而摔倒。

通過對比RuscaRL、不帶衰減的RuscaRL以及傳統強化學習方法的訓練曲線，研究團隊發現了一個有趣的現象：RuscaRL在訓練前期會經歷一個"策略熵上升"的階段，這個階段AI正在積極探索各種可能性；隨后進入"策略熵下降"階段，這時AI開始收斂到高質量的解決方案。這種"先發散后收斂"的模式正是高效學習的標志。

更重要的是，研究團隊通過"重要性比值"分析發現，RuscaRL能夠讓AI生成那些原本認為"不可能"的高質量回答。這些回答的平均重要性比值達到了5424.6，遠遠超過傳統方法的1.7。這個數字的含義是，RuscaRL訓練的AI能夠生成那些對原始模型來說概率極低的答案，但這些答案恰恰是質量最高的。

九、多樣性分析：思維的廣度與深度

除了性能提升，研究團隊還詳細分析了RuscaRL對AI思維多樣性的影響。他們使用了兩個指標來衡量多樣性：表面多樣性（通過Self-BLEU評分衡量，關注詞匯和句法的差異）和語義多樣性（通過語義距離衡量，關注意思和概念的差異）。

結果顯示，RuscaRL在訓練早期會快速提升AI的思維多樣性，然后在訓練后期保持相對穩定的高多樣性水平。相比之下，傳統強化學習方法的多樣性下降更快，特別是在語義層面上的多樣性崩塌更為明顯。這說明RuscaRL不僅能讓AI生成更好的答案，還能讓AI的思維方式更加豐富和靈活。

這種多樣性的保持對實際應用具有重要意義。在醫療咨詢中，同一個癥狀可能有多種可能的診斷和治療方案，AI需要能夠考慮到這些不同的可能性。在創意寫作中，同一個主題可以從多個角度進行闡述，AI的多樣性思維能夠產生更豐富的內容。

十、局限性與未來展望

盡管RuscaRL取得了顯著成果，但研究團隊也誠實地指出了方法的局限性。首先是對高質量評分準則的依賴。RuscaRL的效果很大程度上取決于評分準則的質量，如果準則設計得不好，可能會誤導AI的學習方向。這就像給學生一份質量不高的學習指南，可能會讓學生走向錯誤的方向。

其次是計算成本的問題。由于需要對每個評分準則都進行單獨的評估，RuscaRL的訓練成本比傳統方法要高。這就像聘請多位專家分別評判一份作業的不同方面，雖然評估更全面，但成本也更高。

最后是評分準則數據的稀缺性。目前，像HealthBench這樣高質量的帶有詳細評分準則的數據集還很少，這限制了RuscaRL在更多領域的應用。研究團隊呼吁學術界投入更多精力構建這樣的數據集，以促進整個領域的發展。

展望未來，研究團隊提出了幾個有希望的研究方向。首先是開發更高效的評分準則生成方法，讓AI能夠自動為不同類型的任務生成合適的評分準則。其次是探索基于自然語言反饋的方法，讓AI不僅能從分數中學習，還能從詳細的文字反饋中獲得指導。最后是將RuscaRL擴展到多模態任務中，讓它不僅能處理文本，還能處理圖像、音頻等多種形式的信息。

說到底，RuscaRL為我們展示了一個令人興奮的可能性：通過巧妙的訓練方法設計，我們可以讓相對較小的AI模型達到甚至超越大型模型的性能。這不僅在技術上具有重要意義，在經濟和環境角度也很有價值——更高效的模型意味著更低的計算成本和更少的能源消耗。更重要的是，RuscaRL的成功證明了教育學原理在AI訓練中的重要作用，為未來的AI訓練方法提供了新的思路和方向。隨著這種方法的進一步完善和推廣，我們有理由相信AI在復雜推理任務上的表現會有更大的突破，最終更好地服務于人類社會的各個領域。

Q&A

Q1：RuscaRL是什么？它為什么能讓小模型超越大模型？

A：RuscaRL是一種新的AI訓練方法，全稱"基于評分準則的腳手架強化學習"。它的核心思想就像教孩子學習時提供腳手架支撐一樣，通過檢查清單式的指導幫助AI學會更好的思考方式。它之所以能讓小模型超越大模型，是因為解決了傳統訓練方法的"探索瓶頸"問題，讓AI能夠跳出原有的思維局限，學會生成那些原本認為"不可能"的高質量答案。

Q2：RuscaRL的腳手架機制是如何工作的？

A：RuscaRL的腳手架機制有兩個關鍵特性：組內差異化和組間衰減。組內差異化就像一位老師給8個學生布置同樣題目時，給每個學生提供不同程度的提示，確保答案的多樣性。組間衰減則像父母教孩子騎自行車時逐漸松手，在訓練初期提供充分指導，隨著AI能力增強逐步減少輔助，最終讓AI具備獨立思考能力。

Q3：RuscaRL適用于哪些領域？普通人什么時候能用上？

A：RuscaRL特別適合那些沒有標準答案的復雜問題，比如醫療咨詢、法律分析、創意寫作等領域。在醫療咨詢方面已經顯示出超越GPT-4的效果。不過目前還處于研究階段，普通用戶要想直接使用還需要等待。但隨著技術的成熟，未來我們很可能會在各種AI應用中享受到這種方法帶來的更智能、更準確的服務體驗。