這項由加州大學圣克魯茲分校的Kyle Montgomery、Yuqi Chen和Chenguang Wang，以及加州大學伯克利分校的Sijun Tan、Siyuan Zhuang、Tianjun Zhang和Raluca Ada Popa共同完成的研究，發表于2025年10月的arXiv預印本（編號：arXiv:2510.14913v1）。

在AI快速發展的今天，讓人工智能系統變得更聰明的方法通常只有一種：燒錢。就像養育孩子一樣，想要AI在數學、編程這些復雜任務上表現得更好，傳統做法就是投入更多計算資源，訓練更大的模型，或者在推理時讓AI多思考幾遍。這種"用算力砸出智能"的策略確實有效，但代價高昂，就像讓一群專家開會討論每道題一樣。

然而，研究團隊發現了一個令人意外的現象：當你的預算有限時，雇傭一個"快速判斷員"可能比請一群"深度思考專家"更明智。這就是他們提出的"判別式驗證"方法的核心思想。

一、AI推理中的計算經濟學困境

當前AI系統解決復雜問題的主流方法叫做"測試時擴展"，可以把它想象成考試策略。傳統方法是讓學生（AI）針對同一道題寫出多個答案，然后要么簡單投票選最頻繁的答案，要么請一位資深老師（生成式驗證器）仔細閱讀每個答案并寫出詳細評語來判斷對錯。

這種"資深老師"方法雖然準確，但成本極高。每次驗證一個答案，這位老師都要寫出一長篇分析報告，解釋為什么這個答案對或錯。這個過程消耗的計算資源甚至可能超過學生寫答案本身的成本。研究發現，如果考慮到驗證成本，這種方法需要8倍的計算資源才能達到簡單投票法的效果，而即使給它128倍的預算，提升也很有限。

問題的根源在于一個殘酷的現實：無論驗證器多么強大，如果學生的所有答案都是錯的，再好的老師也無法從中挑出正確答案。這就像在一堆爛蘋果中找好蘋果一樣不可能。而且，簡單的投票法已經相當有效，要想超越它，驗證器必須既能在大多數人正確時認同多數，又能在大多數人錯誤時識破真相，這是一個極其苛刻的要求。

二、"快速判斷員"的智慧：判別式驗證

面對這個困境，研究團隊提出了一個精妙的替代方案：用"快速判斷員"代替"資深老師"。這個判斷員不會寫長篇分析，而是快速給每個答案打個分數，就像給試卷打分一樣簡單直接。這種方法叫做判別式驗證。

判別式驗證的最大優勢是速度。它只需要進行一次"前向傳播"（可以理解為快速瀏覽一遍），就能給出評分，避免了生成長篇文字的昂貴過程。在實際測試中，驗證32個數學解答只需要1.66秒，僅占生成這些解答時間的0.1%。相比之下，生成式驗證需要3423.7秒，是生成時間的兩倍多。

然而，判別式驗證器也有弱點：當候選答案很多時，它容易被那些看起來很有信心但實際錯誤的答案誤導。這就像一個快速判斷員可能被表面功夫迷惑一樣。為了解決這個問題，研究團隊開發了兩種"混合策略"。

三、混合策略的智慧結合

第一種策略叫做"加權自洽性"。傳統投票是簡單計數，但這種方法會考慮驗證器的評分。如果某個答案不僅出現頻繁，而且驗證器也給了高分，那它就更可能被選中。這就像既考慮觀眾投票又考慮專業評委打分的選秀節目。

第二種策略叫做"悲觀驗證"，這個名字聽起來有點消極，但實際上很聰明。它會對那些只有少數支持者的答案進行"懲罰"，減少選擇孤立答案的機會。具體做法是計算每個答案的平均驗證分數，然后根據支持人數給予不同程度的懲罰。支持者越少，懲罰越重。這種方法的邏輯是：如果一個答案連基本的支持都得不到，那即使驗證器給了高分，也要謹慎對待。

研究團隊發現了一個有趣的平衡點：當懲罰系數設為0.5時效果最佳。這意味著對少數答案既不能過度懷疑，也不能完全無視其孤立性。

四、訓練判別式驗證器的秘訣

為了訓練這個"快速判斷員"，研究團隊采用了一種叫做"Bradley-Terry排序"的方法。簡單來說，就是讓AI學會比較：給它看大量正確和錯誤的數學解答，訓練它學會給正確答案打高分，給錯誤答案打低分。

他們從各種數學競賽和考試中收集了32000個問題，然后用10個不同的AI模型來解答，產生了大量正確和錯誤的解答樣本。有趣的是，他們發現去掉AI的"思考過程"（那些被標簽包圍的推理內容），只保留最終答案，反而能讓驗證器表現更好。這就像考試時只看答案不看解題過程一樣，有時候過多的信息反而會造成干擾。

訓練過程中，他們使用了一個巧妙的損失函數，不僅要求正確答案得高分，還加入了正則化項防止評分過于極端。這就像訓練一個既不過分嚴厲也不過分寬松的評委。

五、令人印象深刻的實驗結果

在AIME2025這個權威數學競賽數據集上的測試結果讓人眼前一亮。在相同的計算預算下，混合判別式驗證方法比最先進的生成式驗證方法準確率高出15.3%。這不是一個小幅提升，而是一個顯著的飛躍。

更具體地說，當使用32個候選答案時，悲觀驗證方法在AIME2025上的準確率達到69.1%，比簡單的自洽性方法高出2.5%，比單純的最佳選擇法高出8.3%。令人驚訝的是，即使在生物、物理、化學等跨領域的GPQA數據集上，這種方法依然有效，比自洽性方法高出2.1%。

從計算效率角度看，結果更加令人震撼。在實際的GPU測試中，驗證32個解答用判別式方法只需1.66秒，而生成式方法需要3423.7秒，差距超過2000倍。這意味著在相同時間內，判別式方法可以處理數千倍的問題。

六、擴展性與適用性分析

研究團隊還測試了這種方法在不同規模模型上的表現。他們使用了從15億到320億參數的不同大小的AI模型，發現無論模型大小如何，混合判別式驗證都能保持相對于簡單投票的優勢。這就像一個好的評判標準，無論選手水平高低都能發揮作用。

在推理時間擴展實驗中，他們發現即使限制AI的思考時間（從0到16384個詞匯單位），混合方法依然能保持優勢。這證明了這種方法的魯棒性，不會因為外部條件變化而失效。

研究還深入分析了計算成本。他們發現，在現實的計算預算限制下（比如22.5分鐘的推理時間），判別式驗證幾乎總是更優選擇。只有當預算極其充裕時，生成式驗證才開始顯示優勢，但這種情況在實際應用中很少見。

七、方法論的深層智慧

這項研究的深層智慧在于重新思考了"驗證"的本質。傳統觀念認為，更復雜、更詳細的驗證一定更好，就像認為寫得越長的評語越有價值。但這個研究證明，在資源受限的現實世界中，簡單高效的判斷往往更實用。

判別式驗證的成功還揭示了一個重要原理：在AI系統中，把大部分計算資源用于生成更多候選解答，而不是過度驗證少數解答，通常能獲得更好的整體效果。這就像在有限時間內，讓學生多做幾道題比在一道題上花費過多時間更有效。

混合策略的設計體現了"協同智能"的思想：既不完全依賴數量（投票），也不完全依賴質量評分（驗證器），而是巧妙地結合兩者的優勢。這種平衡藝術在許多現實決策場景中都有借鑒價值。

八、實際應用前景與影響

這項研究的實際影響遠超學術范圍。在商業AI應用中，計算成本直接關系到服務價格和普及程度。一個能在相同成本下提供更好性能的方法，意味著AI服務可以更便宜、更快速地服務更多用戶。

在教育領域，這種技術可以讓AI輔導系統更高效地驗證學生答案，提供即時反饋。在科研領域，研究人員可以用更少的計算資源處理更多問題，加速發現過程。

更重要的是，這種"預算感知"的設計理念為AI發展指出了一個現實可行的方向。不是所有改進都需要無限的計算資源，聰明的算法設計往往能用更少的資源達到更好的效果。

說到底，這項研究最大的價值不在于發明了一個全新的技術，而在于重新定義了"效率"在AI系統中的含義。它告訴我們，在追求AI性能的道路上，有時候快速而巧妙的方法比昂貴而復雜的方案更值得追求。這種"以小搏大"的智慧，正是當前AI發展所需要的務實精神。對于那些希望在有限預算下獲得最佳AI性能的開發者和研究者來說，這項研究提供了一個極具價值的參考范例，證明了技術創新的真正價值不在于炫耀復雜性，而在于解決實際問題。

Q&A

Q1：什么是判別式驗證，它和傳統的生成式驗證有什么區別？

A：判別式驗證就像一個快速打分員，只給每個答案打個分數，而不寫詳細評語。傳統的生成式驗證像資深老師，要為每個答案寫長篇分析報告。判別式驗證速度快、成本低，驗證32個答案只需1.66秒，而生成式驗證需要3423.7秒，成本差距超過2000倍。

Q2：為什么混合判別式驗證方法效果更好？

A：因為它結合了投票和評分的雙重優勢。單純的投票可能選中錯誤但流行的答案，單純的評分可能被表面功夫迷惑?；旌戏椒瓤紤]答案的支持度，又考慮驗證器的評分，還會對孤立答案進行適當懲罰，這樣能更準確地識別真正正確的答案。

Q3：這種方法在實際應用中能節省多少成本？

A：在相同計算預算下，這種方法比最先進的生成式驗證準確率高出15.3%，而計算開銷僅增加2%。這意味著你可以用幾乎相同的成本獲得顯著更好的性能，或者用更少的成本達到相同的效果。對于商業AI應用來說，這種效率提升直接轉化為成本節約和服務質量提升。