Archer團隊 投稿
量子位 | 公眾號 QbitAI

當大模型在數學題和代碼任務里“卷”參數規模時，一支來自快手和清華的團隊給出了不同答案——

他們用1.5B參數的小模型，在多個推理基準上干過了同量級SOTA。

秘密在于給模型的“學習過程”做了精細化管理：讓該記牢的知識穩住，讓該靈活的推理放開。

在多個挑戰性的數學、代碼評測基準上，該團隊提出的Archer方法都展現出了強大的實力。

目前，Archer的代碼已開源，詳細鏈接可見文末。

“兩難”：知識和推理難兼顧

通過預訓練，LLM能記住海量的知識。但要讓這些知識轉化為解決數學題、寫復雜代碼的推理能力，還得靠后續的強化學習（RL）優化。

其中，帶可驗證獎勵的強化學習（RLVR）是當前的主流方法——簡單地說，就是讓模型不斷嘗試解題，通過“是否做對”的反饋調整行為，有點像人類“做題糾錯”。

但問題來了：模型輸出的內容里，有些是“知識型”的（比如“1+1=2”這類事實），有些是“推理型”的（比如“先算括號里，再算乘除”這類邏輯規劃步驟）。

過去的RLVR方法要么“一視同仁”，給所有內容用一樣的訓練信號；要么“粗暴分割”，用梯度屏蔽把兩類內容拆開訓練。

結果往往是：要么知識逐漸變差（比如把公式記錯），要么推理放不開（比如總用老套思路解題）。

快手和清華團隊發現：這兩類內容在模型里其實有明顯特征：

低熵Token（確定性高）：比如“3.14”、“def函數”，對應事實性知識，訓練時不能亂改；高熵Token（不確定性高）：比如“因此”、“接下來”、“循環條件”，對應邏輯推理，需要多嘗試。

但關鍵在于，這兩類Token在句子里是“綁在一起”的——比如解數學題時，“因為2+3=5（低熵），所以下一步算5×4（高熵）”，拆開會破壞語義邏輯。

Archer：給Token“差異化訓練”

團隊提出的Archer方法，核心是“雙Token約束”——不拆分Token，而是給它們定制不同的訓練規則。

簡單說就是兩步：

1.先給Token“貼標簽”：用熵值分類型

通過計算每個Token的熵值（不確定性），自動區分“知識型”和“推理型”：

高熵Token：比如數學推理里的“接下來”、“綜上”，代碼里的“循環”、“判斷”，是邏輯轉折點；低熵Token：比如“123”、“print”，是必須準確的事實性內容。

團隊用“句子級熵統計”替代傳統的“批次級統計”——比如同一道數學題，不同解法的Token熵分布不同，按句子單獨劃分，避免把“關鍵推理Token”誤判成“知識Token”。

2.再給訓練“定規矩”：差異化約束

對貼好標簽的Token，用不同的規則訓練：

推理型（高熵）Token：松約束。用更高的裁剪閾值（允許更大幅度調整）和更弱的KL正則（減少對原始策略的依賴），鼓勵模型多嘗試不同推理路徑；知識型（低熵）Token：緊約束。用更低的裁剪閾值和更強的KL正則，讓模型“死死記住”正確知識，避免越訓越錯。

這樣一來，知識和推理既能同步更新，又不互相干擾——就像老師教學生：基礎公式要背牢，解題思路可以大膽試。

從數學到代碼：全面碾壓同量級模型

在最考驗推理能力的數學和代碼任務上，Archer的表現都很出色。

數學推理：解題正確率大幅提升

在AIME 2024/2025、Minerva等硬核數學基準上：

相比同基座的原始模型，Archer在AIME24上正確率提升18.1%，AIME25提升10.3%；對比當前SOTA方法DAPO，Archer在AIME24上多對6.6%的題，AIME25多對5.2%；1.5B參數的Archer-Math，直接超過了FastCuRL、Nemotron等同量級SOTA模型，平均正確率登頂

代碼生成：刷題能力顯著增強

在LiveCodeBench（主流代碼生成基準）v5/v6上：

相比DAPO，Archer在v5上正確率提升3.4%，v6提升2.6%；超過了專門優化代碼的DeepCoder-1.5B，成為同量級最佳代碼生成模型之一。

效率方面，Archer只用單階段訓練、1900H800 GPU小時（對比Nemotron的16000 H100小時），就實現了這些提升。

沒有復雜的多輪訓練，達到了“花小錢辦大事”的效果。

關鍵在“平衡”

Archer的核心洞察是：LLM推理能力不是“死記硬背”或“盲目試錯”，而是知識穩定性和推理探索性的平衡。

團隊通過實驗驗證了這種平衡的重要性：

若不給低熵Token加約束（KL=0），模型會很快“記混知識”，輸出重復內容，性能崩塌；若給高熵Token加嚴約束（裁剪閾值太小），模型推理“放不開”，學不到新方法；只有讓知識Token“”、推理Token“”，才能既不丟基礎，又能提升邏輯能力。

這種思路也解釋了為什么小模型能逆襲——大模型的參數優勢能堆出更多知識，但如果訓練時“管不好”知識和推理的關系，能力提升反而受限。

Archer用精細化的Token管理，讓小模型的每一個參數都用在刀刃上，學會如何更好的組織使用已有的知識。

論文鏈接：http://arxiv.org/abs/2507.15778
GitHub：https://github.com/wizard-III/ArcherCodeR