大語言模型（LLM）正從工具進化為“裁判”（LLM-as-a-judge），開始大規模地評判由AI自己生成的內容。這種高效的評估范式，其可靠性與人類判斷的一致性，卻很少被深入驗證。

一個最基礎、卻也最關鍵的問題是：在評判一個模型是否“入戲”之前，AI裁判能準確識別出對話中到底是誰在說話嗎？

針對這一問題，上海交通大學王德泉課題組的論文《Personaeval: Are LLM evaluators Human Enough to Judge Role-Play?》對此進行了系統性的研究。

文章提出一個名為Personaeval的全新基準測試。這項測試的核心任務，就是讓模型在給定一段對話后，從幾個候選角色中選出真正的說話者。

測試結果顯示，即便是表現最好的模型Gemini-2.5-pro，其準確率僅為68.8%，而人類實驗組的平均準確率為90.8%。

論文即將發表在2025年10月份的第2屆語言模型大會（COLM）上。

一個讓頂尖模型也“翻車”的簡單問題

近來，關于大語言模型能否勝任“裁判”的討論愈發激烈，從“隱形prompt”影響大模型審稿的爭議，到斯坦福大學籌備首屆純AI學術會議Agent4Science的嘗試，都標志著一個新趨勢的到來：大語言模型（LLM）能當裁判評判AI生成的內容。

這一趨勢在角色扮演（Role-Play）領域尤為明顯。從讓大模型扮演經典的文學人物、游戲NPC，到Character.AI的火爆和各類應用中“AI陪玩”的興起，一個由LLM驅動的虛擬伴侶和內容創作時代正向我們走來。

隨著其巨大的商業與應用潛力引發業界廣泛關注，如何評價AI“演技”也自然成了亟待解決的核心問題。于是，讓LLM來擔當裁判，也順理成章地成為了該領域的主流評估方法之一。

在AI當裁判之前，首先要確認AI是否能夠準確進行“角色身份識別”（Role Identification）。作者認為，如果連這個都做不到，那么后續所有關于語氣、情感、性格一致性的高級評估，都將是空中樓閣。

我們來看一個在人類眼中非常簡單，但卻讓頂尖大模型都判斷失誤的例子，如下圖所示：

△圖1 簡單案例

如上圖所示，角色莊顏正在與某人對話。在她的內心獨白中，她明確提到了“羅輯”，同時她在話語中也提到了“羅老師”。

人類的判斷邏輯：對于即使沒有看過《三體》的人類來說，也能判斷出莊顏是在與羅輯對話，因為莊顏的內心獨白和說話內容已經圈定了羅輯是說話對象，這是最直接、最關鍵的上下文線索，即對話的參與者LLM的判斷邏輯：然而，一個頂尖的LLM（DeepSeek-R1-0528）在此案例中做出了錯誤判斷，選擇了史強。從模型的分析可以看出，它忽略了“羅輯是對話參與者”這一核心情境信息，反而過度關注回應者的語言風格，認為其“直接、現實、略帶挑釁”更符合史強的性格特征，從而做出了錯誤選擇。

這個例子一針見血地指出了當前LLM裁判的致命缺陷：它們似乎更關注表層的語言風格（聽起來像誰），而人類則首先觀察真實的對話意圖和上下文（在那個情境下，誰會這么說）。

為什么會產生這種分歧？這背后其實是AI與人類智能模式的深刻差異。

正如論文所引述的認知科學家Josh Tenenbaum的觀點：LLM的智能是從海量語言中學習模式而“衍生”出來的，它們是頂級的模式匹配專家；而人類的智能則“先于”語言，我們是帶著意圖和認知去發展和使用語言這一工具的。

Personaeval：一個專為LLM裁判打造的“照妖鏡”

為了系統性地評估LLM在角色身份識別上的能力，論文作者精心構建了Personaeval基準。

它有幾個核心特點，確保了評估與人類對齊，以及一定的挑戰性：

源于純正的人類創作：所有對話數據均來自小說、劇本和真實的人類視頻，而非AI合成內容。這保證了評估的標準根植于真實的人類判斷，避免了“模型評價模型”的數據污染。精心設計的“干擾項”：在多項選擇任務中，錯誤的選項（distractors）并非隨機設置，而是通過embedding技術精心挑選出的、與正確角色在語義上最接近的“高仿”角色。這迫使模型進行細致入微的推理，而不是簡單的模式匹配。專注于“疑難雜癥”：為了避免簡單的案例虛假拉高模型的表現，論文作者通過一個強大的基線模型（Qwen-max）進行過濾，只保留那些連強模型都感到困惑（置信度低于0.5）的“硬核案例”。

△圖2：Personaeval基準的構建流程

整個基準包含了三個不同方向的測試集：

Personaeval-Literary：來自771本英文小說，測試模型對虛構敘事角色的推理能力。Personaeval-Drama：來自中文劇本，測試模型對腳本化互動中的角色理解。Personaeval-Expertise：來自WIRED的“5Levels”系列視頻，測試模型能否根據語言和概念的復雜程度，判斷專家是在對兒童、青少年還是其他專家說話。

測試發現：AI判斷相較于人類還有巨大差距

在Personaeval這個“考場”上，現有LLM的表現如何呢？結果令人震驚。

論文作者對包括GPT系列、Claude系列、DeepSeek系列在內的多個頂尖模型進行了測試。結果顯示，即便是表現最好的模型Gemini-2.5-pro，其準確率也僅為68.8%。相比之下，論文作者組織了一場人類研究，由20名高學歷志愿者參與，人類的平均準確率高達90.8%！

△圖3：LLM在Personaeval上的準確率與人類水平對比

上圖直觀地展示了這條巨大的“鴻溝”（Current Gap）。這清晰地回答了論文標題中的問題：

目前的LLM裁判，還遠不夠“擬人”，不足以可靠地評判角色扮演。如何彌補差距？強化“推理”是關鍵，而非“投喂”角色知識。

既然發現了問題，那該如何解決？

論文作者進一步探索了兩種常見的模型提升策略：

訓練時適配（Training-time Adaptation）：通過在角色扮演的語料上進行微調（fine-tuning），向模型“注入”更多角色知識。測試時計算（Test-time Compute）：在推理階段通過少樣本提示（few-shot prompting）或自洽性（self-consistency）等方法來提升表現。

結果再次出人意料。研究發現，對模型進行角色相關的微調，不僅沒有提升其角色識別能力，反而可能導致性能下降。這可能是因為死記硬背的角色知識干擾了模型更底層的、通用的推理能力。

△圖4：在角色數據上微調后（粉色柱），模型性能反而下降

與此同時，測試時計算的方法顯示出更大的潛力，特別是那些為“推理”而生的模型，表現出了明顯的優勢。例如，專為推理任務優化的DeepSeek-R1和QwQ-32B等模型，在基準測試中名列前茅。

這表明，想要打造一個好的“AI裁判”，關鍵不在于灌輸更多的角色知識，而在于提升模型本身強大、穩健、具有上下文感知能力的推理引擎。

該論文揭示了當前流行的“LLM-as-a-judge”評估范式在一個基礎卻被忽視的維度上的嚴重缺陷。

這項研究不僅為我們提供了一個寶貴的評估工具，更促使我們重新思考如何構建真正與人類價值觀和判斷力對齊的AI系統。

未來的研究或許可以深入分析模型做出錯誤判斷的“思考路徑”，從而開發出更有效的、以推理為導向的提升方法。Personaeval，正在朝著這個目標邁進。

最終，我們希望AI不僅能“扮演”人類，更能真正“理解”人類的互動方式。

作者簡介

論文第一作者是上海交通大學博士研究生周凌楓，主要研究大模型智能體、人工智能賦能的社會科學等方向。

論文的通訊作者為上海交通大學長聘教軌助理教授、博士生導師王德泉。本科畢業于復旦大學，博士畢業于加州大學伯克利分校，師從Trevor Darrell教授。近五年論文谷歌學術總引用次數 12000 余次，H-index 22。

項目鏈接：https://github.com/maple-zhou/Personaeval

論文地址：https://arxiv.org/abs/2508.10014