5 月 22 日消息，科技媒體 marktechpost 昨日（5 月 21 日）發布博文，報道稱 meta 公司推出 J1 系列模型，通過強化學習和合成數據訓練，顯著提升判斷模型準確性和公平性。

項目背景

大型語言模型（LLM）正在突破傳統角色，逐步承擔起評估與判斷的重任。這種“LLM-as-a-Judge”的模式，讓 AI 模型能夠審查其他語言模型的輸出，成為強化學習、基準測試和系統對齊的重要工具。

不同于傳統的獎勵模型直接打分，判斷模型通過內部鏈式推理（chain-of-thought reasoning）模擬人類思考，特別適合數學解題、倫理推理和用戶意圖解讀等復雜任務，還能跨語言和領域驗證回應，推動語言模型開發的自動化和擴展性。

不過“LLM-as-a-Judge”模式目前面臨的挑戰是一致性差和推理深度不足，許多系統依賴基本指標或靜態標注，無法有效評估主觀或開放性問題；另一個問題就是位置偏見（position bias）答案順序常影響最終判斷，損害公平性。

此外，大規模收集人工標注數據成本高昂且耗時，限制了模型的泛化能力。evalPlanner 和 DeepSeek-GRM 等現有解決方案依賴人工標注或僵化訓練模式，適應性有限。

J1 模型的創新突破

為解決上述問題，meta 的 GenAI 和 FAIR 團隊研發了 J1 模型。J1 通過強化學習框架訓練，采用可驗證的獎勵信號學習，使用 22000 個合成偏好對（包括 17000 個 WildChat 語料和 5000 個數學查詢）構建數據集，訓練出 J1-Llama-8B 和 J1-Llama-70B 兩款模型。

團隊還引入 Group Relative Policy Optimization（GRPO）算法，簡化訓練過程，并通過位置無關學習（position-agnostic learning）和一致性獎勵機制消除位置偏見。

J1 支持多種判斷格式，包括成對判斷、評分和單項評分，展現出極高的靈活性和通用性。

測試結果顯示，J1 模型性能大幅領先。在 PPE 基準測試中，J1-Llama-70B 準確率達 69.6%，超越 DeepSeek-GRM-27B（67.2%）和 evalPlanner-Llama-70B（65.6%）；即便是較小的 J1-Llama-8B，也以 62.2% 的成績擊敗 evalPlanner-Llama-8B（55.5%）。

J1 還在 RewardBench、JudgeBench 等多個基準測試中展現出頂級表現，證明其在可驗證和主觀任務上的強大泛化能力，表明推理質量而非數據量，是判斷模型精準的關鍵。