根據(jù)研究團(tuán)隊(duì) 4 月 4 日發(fā)表的論文，該技術(shù)通過(guò)“原則合成-響應(yīng)生成-批判過(guò)濾-原則優(yōu)化”的遞歸架構(gòu)，讓模型能在推理時(shí)動(dòng)態(tài)修正輸出。

SPCT 方法分為兩個(gè)階段。一是拒絕式微調(diào)作為冷啟動(dòng)階段，讓 GRM 適應(yīng)不同輸入類型并以正確格式生成原則與點(diǎn)評(píng)內(nèi)容。二是基于規(guī)則的在線強(qiáng)化學(xué)習(xí)階段，采用基于規(guī)則的結(jié)果獎(jiǎng)勵(lì)，鼓勵(lì) GRM 生成更好的原則與點(diǎn)評(píng)內(nèi)容，提升推理階段可擴(kuò)展性。

測(cè)試中，270 億參數(shù)的 DeepSeek-GRM 模型測(cè)試顯示，通過(guò)每查詢 32 次采樣的推理計(jì)算，達(dá)到了 671B 規(guī)模模型的性能水平。這種硬件感知設(shè)計(jì)采用混合專家系統(tǒng)（MoE），支持 128k token 上下文窗口，單查詢延遲僅 1.4 秒。

報(bào)告指出 SPCT 顯著降低高性能模型的部署門(mén)檻，以 DeepSeek-GRM 模型為例，訓(xùn)練成本約 1.2 萬(wàn)美元（注：現(xiàn)匯率約合 87871 元人民幣），MT-Bench 得分 8.35。

模型規(guī)模MT-Bench預(yù)估訓(xùn)練成本DeepSeek-GRM27B8.35$12,000Nemotron-4340B8.41$1.2 millionGPT-4o1.8T8.72$6.3 million

作為對(duì)比，340B 的 Nemotron-4 需 120 萬(wàn)美元獲得 8.41 分。OpenAI 的 1.8T 參數(shù) GPT-4o 雖得 8.72 分，但成本高達(dá) 630 萬(wàn)美元（現(xiàn)匯率約合 4613.2 萬(wàn)元人民幣），而 DeepSeek-GRM 成本僅為 525 分之一。該技術(shù)減少 90% 人工標(biāo)注需求，能耗較 DPO 降低 73%，為實(shí)時(shí)機(jī)器人控制等動(dòng)態(tài)場(chǎng)景提供新可能。