騰訊混元AI數(shù)字人團隊 投稿
量子位 | 公眾號 QbitAI

在沒有標準答案的開放式對話中，RL該怎么做？

多輪對話是大模型最典型的開放任務(wù)：高頻、多輪、強情境依賴，且“好回復(fù)”因人而異。

然而，當用RL去優(yōu)化大模型在真實交互中的“情商”時，RLVR一度陷入“三大困境”：

環(huán)境困境真實對話是多輪、動態(tài)且高度個性化的。如何構(gòu)建一個既真實、多樣，又可供模型自由探索（rollout）的交互環(huán)境？獎勵困境“高情商”沒有標準答案。如何將用戶主觀滿意度轉(zhuǎn)化為穩(wěn)定、可優(yōu)化的長期獎勵？訓(xùn)練困境如何在LLM上實現(xiàn)穩(wěn)定、高效的多輪在線RL訓(xùn)練？

騰訊混元數(shù)字人團隊提出的RLVER(Reinforcement Learning with Verifiable Emotion Rewawards)框架指出了一個方向：

讓一個穩(wěn)定、高質(zhì)量的用戶模擬器，同時扮演“交互環(huán)境”和“獎勵來源”的雙重角色，成功將RLVR引入多輪對話，為大模型在開放域RL上訓(xùn)練提供了有效、可擴展的新解法。

經(jīng)過RLVER訓(xùn)練的Qwen2.5-7B模型，在情感對話基準Sentient-Benchmark上的得分從13.3躍升至79.2，表現(xiàn)與GPT-4o、Gemini 2.5 Pro等頂級商用模型相當。

模型現(xiàn)已開源，鏈接可見文末。

RLVER：為“情商”這一開放問題，構(gòu)建有效的RL閉環(huán)

傳統(tǒng)對話優(yōu)化，要么依賴靜態(tài)數(shù)據(jù)，要么依賴昂貴的人工標注。

而RLVER提出了一種新路徑：以“環(huán)境+獎勵”一體化的用戶模擬器為核心，巧妙地解決了上述三大挑戰(zhàn)。

模擬器即環(huán)境：創(chuàng)造一個“活”的對話世界

RLVER團隊認識到，真正的“高情商”是千人千面的，因此，RLVER構(gòu)建的用戶模擬器不只是一個簡單的對話機器人。

它擁有多樣的用戶畫像和用戶交互場景（不同的用戶性格、對話背景、潛在需求），能模擬出海量真實、多變的用戶。

每個用戶獨立、動態(tài)地和模型交互，根據(jù)模型的回復(fù)實時更新自身的情緒狀態(tài)，并給出個性化的回復(fù)。

這為模型提供了一個可以無限探索、充滿真實感和多樣性的在線學(xué)習(xí)環(huán)境，同時避免reward hacking。

模擬器即獎勵：一個可信的“用戶感受評分系統(tǒng)”

“情商”的評價，本質(zhì)是用戶主觀體驗，但這種主觀體驗要如何變成穩(wěn)定、可優(yōu)化的獎勵？

RLVER基于SAGE框架，通過顯式、可復(fù)現(xiàn)的推理過程，模擬用戶在每一輪對話后的情緒變化。

對話結(jié)束后，累積的“心情總分”便成為獎勵信號，直接驅(qū)動PPO/GRPO算法優(yōu)化模型。

這一設(shè)計擺脫了“黑盒打分器”，將“用戶滿意度”顯式建模成邏輯可控的獎勵函數(shù)，使訓(xùn)練過程更加穩(wěn)定、透明、可信。

全局獎勵優(yōu)化：從單輪反饋到“全局情緒軌跡”優(yōu)化

不同于逐句反饋的方式，RLVER關(guān)注整個對話的情緒變化趨勢，僅以最終“情緒總分”作為獎勵，引導(dǎo)模型優(yōu)化長周期策略。

只有真正理解用戶意圖、維持用戶情緒長期走高，模型才能獲得更高的總獎勵。這鼓勵模型跳出局部最優(yōu)，學(xué)會更具延展性和策略性的社交對話行為。

核心成果：7B模型比肩“巨頭旗艦”

經(jīng)過RLVER訓(xùn)練的Qwen2.5-7B模型，在情感對話基準Sentient-Benchmark上的得分從13.3躍升至79.2，表現(xiàn)與GPT-4o、Gemini 2.5 Pro等頂級商用模型相當。

更重要的是，模型在數(shù)學(xué)、代碼等通用能力上幾乎沒有衰退，成功避免了“災(zāi)難性遺忘”。

此外，RLVER對模型行為風(fēng)格的影響也非常顯著：模型從“解題型風(fēng)格”遷移到“情緒型風(fēng)格”，思路不再是“問題怎么解決”，而是“我能理解你的感受”。

深度洞察：從思考到行動

在RLVER的訓(xùn)練實踐過程中，研究團隊還得到了一些充滿啟發(fā)性的發(fā)現(xiàn)。

洞察一：“思考式”v.s.“反應(yīng)式”模型——通往“共情”的兩種路徑

RLVER引入了顯式的think-then-say提示模板，要求模型在每輪回復(fù)前先進行情緒分析、策略推理，再生成最終回應(yīng)。通過對比帶/不帶“思考”的模型，研究團隊觀察到兩條通向“共情”的截然不同路徑：

“思考式模型”：走向“深度理解”

顯式思考鏈促使模型在生成前進行推理，顯著提升兩項核心能力：

問題洞察力：識別用戶情緒背后的真實動因與潛在需求；共情表達與驗證：精準捕捉并反饋深層情緒，讓用戶“感到被理解”。

這類模型更像是“靈魂知己”：擅長安靜傾聽、準確回應(yīng)，用語言建立深層情感連接。

“反應(yīng)式模型”：走向“快速行動”

相比之下，未引導(dǎo)思考的模型直接生成回應(yīng)，盡管在洞察和共情維度上略遜一籌，卻自發(fā)發(fā)展出“行動導(dǎo)向”的補償策略：

快速判斷用戶困境，提供具體、可執(zhí)行的建議，或個性化行動邀請；以“實用性”彌補情感理解上的不足，形成“行動派伙伴”的角色定位。

這一對比揭示了在開放復(fù)雜任務(wù)下RL訓(xùn)練的有趣現(xiàn)象：模型在能力受限時，會自發(fā)尋找策略性的“補償路徑”，而RLVER提供的多樣化、多策略兼容的訓(xùn)練環(huán)境，正是促成這種多樣行為演化的關(guān)鍵土壤。

洞察二：PPO vs. GRPO——穩(wěn)定增長還是能力突破？

在優(yōu)化算法上，RLVER團隊也得出了實用結(jié)論：

GRPO：傾向于帶來更穩(wěn)定、均衡的能力增長。PPO：則更能將模型在特定維度（如共情深度、核心洞察）的能力推向更高上限。

這引出一個有趣的策略思考：對于“情商”這類多維度的復(fù)雜能力，當模型各方面都達到“合格線”后，是繼續(xù)做“六邊形戰(zhàn)士”，還是集中打造一兩個“殺手锏”維度的長板？

在文章的實驗結(jié)果中，后者帶來了更優(yōu)的綜合表現(xiàn)。

洞察三：環(huán)境和獎勵的風(fēng)格影響——嚴師未必出高徒

在RLVER框架中，用戶模擬器同時扮演“訓(xùn)練環(huán)境”與“獎勵模型”的雙重角色。因此，它的風(fēng)格——即“用戶接受度”與反饋方式——對模型學(xué)習(xí)路徑具有直接影響。

一個自然的追問是：要求更嚴格的用戶，會訓(xùn)練出更強的模型嗎？

實驗給出的答案是：并非越難越好。

RLVER團隊構(gòu)建了兩類用戶模擬器：

Vanilla版：情緒外露、反饋積極，接受度較高；Challenging版：情緒內(nèi)斂、反饋克制，對回應(yīng)質(zhì)量要求極高。

在相同初始模型下分別進行訓(xùn)練與測試后，RLVER團隊發(fā)現(xiàn)：

太難的環(huán)境，不利于模型早期成長

雖然Challenging模擬器在設(shè)計上更真實，但它反饋含蓄、容錯率低，使得模型在訓(xùn)練早期難以試錯探索多樣策略，也難以獲得正向激勵。這會導(dǎo)致RL訓(xùn)練陷入“無反饋→無學(xué)習(xí)→崩潰”的惡性循環(huán)。

相反，Vanilla模擬器的反饋機制相對包容和積極，更利于模型在訓(xùn)練初期的策略探索與能力積累，形成穩(wěn)定的共情表達習(xí)慣。

策略啟示：在強化學(xué)習(xí)優(yōu)化開放任務(wù)（如“情商”）時，訓(xùn)練環(huán)境不應(yīng)一味“設(shè)難”，而應(yīng)強調(diào)“成長曲線”設(shè)計?！皣缼煶龈咄健钡那疤?，是學(xué)生已經(jīng)能聽懂教誨。

而在能力尚淺的早期，溫和、可學(xué)的“陪練型用戶”反而更能助力模型成長為真正的共情者。

帶思考的模型，更“抗打擊”

一個附加的有趣發(fā)現(xiàn)是：在Challenging環(huán)境下，帶有顯式“思考結(jié)構(gòu)”的模型顯著更魯棒：

雖然整體分數(shù)有所下降，但仍保持在可用水平；而不帶思考結(jié)構(gòu)的模型則幾乎完全崩潰，得分低至19.8。

這表明，顯式推理能力能夠緩沖稀疏獎勵帶來的訓(xùn)練不穩(wěn)定性。即使缺乏清晰反饋，模型也可以借助“內(nèi)在分析”挖掘用戶需求信號，從而保持一定的適應(yīng)性。

前期工作：AI也能當情感大師？騰訊發(fā)布最新AI社交智能榜單，最新版GPT-4o拿下第一
論文地址：https://arxiv.org/abs/2507.03112
項目代碼：https://github.com/Tencent/digitalhuman/tree/main/RLVER
開源模型：https://huggingface.co/RLVER