大語(yǔ)言模型（LLM）正從工具進(jìn)化為“裁判”（LLM-as-a-judge），開(kāi)始大規(guī)模地評(píng)判由AI自己生成的內(nèi)容。這種高效的評(píng)估范式，其可靠性與人類判斷的一致性，卻很少被深入驗(yàn)證。

一個(gè)最基礎(chǔ)、卻也最關(guān)鍵的問(wèn)題是：在評(píng)判一個(gè)模型是否“入戲”之前，AI裁判能準(zhǔn)確識(shí)別出對(duì)話中到底是誰(shuí)在說(shuō)話嗎？

針對(duì)這一問(wèn)題，上海交通大學(xué)王德泉課題組的論文《Personaeval: Are LLM evaluators Human Enough to Judge Role-Play?》對(duì)此進(jìn)行了系統(tǒng)性的研究。

文章提出一個(gè)名為Personaeval的全新基準(zhǔn)測(cè)試。這項(xiàng)測(cè)試的核心任務(wù)，就是讓模型在給定一段對(duì)話后，從幾個(gè)候選角色中選出真正的說(shuō)話者。

測(cè)試結(jié)果顯示，即便是表現(xiàn)最好的模型Gemini-2.5-pro，其準(zhǔn)確率僅為68.8%，而人類實(shí)驗(yàn)組的平均準(zhǔn)確率為90.8%。

論文即將發(fā)表在2025年10月份的第2屆語(yǔ)言模型大會(huì)（COLM）上。

一個(gè)讓頂尖模型也“翻車”的簡(jiǎn)單問(wèn)題

近來(lái)，關(guān)于大語(yǔ)言模型能否勝任“裁判”的討論愈發(fā)激烈，從“隱形prompt”影響大模型審稿的爭(zhēng)議，到斯坦福大學(xué)籌備首屆純AI學(xué)術(shù)會(huì)議Agent4Science的嘗試，都標(biāo)志著一個(gè)新趨勢(shì)的到來(lái)：大語(yǔ)言模型（LLM）能當(dāng)裁判評(píng)判AI生成的內(nèi)容。

這一趨勢(shì)在角色扮演（Role-Play）領(lǐng)域尤為明顯。從讓大模型扮演經(jīng)典的文學(xué)人物、游戲NPC，到Character.AI的火爆和各類應(yīng)用中“AI陪玩”的興起，一個(gè)由LLM驅(qū)動(dòng)的虛擬伴侶和內(nèi)容創(chuàng)作時(shí)代正向我們走來(lái)。

隨著其巨大的商業(yè)與應(yīng)用潛力引發(fā)業(yè)界廣泛關(guān)注，如何評(píng)價(jià)AI“演技”也自然成了亟待解決的核心問(wèn)題。于是，讓LLM來(lái)?yè)?dān)當(dāng)裁判，也順理成章地成為了該領(lǐng)域的主流評(píng)估方法之一。

在AI當(dāng)裁判之前，首先要確認(rèn)AI是否能夠準(zhǔn)確進(jìn)行“角色身份識(shí)別”（Role Identification）。作者認(rèn)為，如果連這個(gè)都做不到，那么后續(xù)所有關(guān)于語(yǔ)氣、情感、性格一致性的高級(jí)評(píng)估，都將是空中樓閣。

我們來(lái)看一個(gè)在人類眼中非常簡(jiǎn)單，但卻讓頂尖大模型都判斷失誤的例子，如下圖所示：

△圖1 簡(jiǎn)單案例

如上圖所示，角色莊顏正在與某人對(duì)話。在她的內(nèi)心獨(dú)白中，她明確提到了“羅輯”，同時(shí)她在話語(yǔ)中也提到了“羅老師”。

人類的判斷邏輯：對(duì)于即使沒(méi)有看過(guò)《三體》的人類來(lái)說(shuō)，也能判斷出莊顏是在與羅輯對(duì)話，因?yàn)榍f顏的內(nèi)心獨(dú)白和說(shuō)話內(nèi)容已經(jīng)圈定了羅輯是說(shuō)話對(duì)象，這是最直接、最關(guān)鍵的上下文線索，即對(duì)話的參與者LLM的判斷邏輯：然而，一個(gè)頂尖的LLM（DeepSeek-R1-0528）在此案例中做出了錯(cuò)誤判斷，選擇了史強(qiáng)。從模型的分析可以看出，它忽略了“羅輯是對(duì)話參與者”這一核心情境信息，反而過(guò)度關(guān)注回應(yīng)者的語(yǔ)言風(fēng)格，認(rèn)為其“直接、現(xiàn)實(shí)、略帶挑釁”更符合史強(qiáng)的性格特征，從而做出了錯(cuò)誤選擇。

這個(gè)例子一針見(jiàn)血地指出了當(dāng)前LLM裁判的致命缺陷：它們似乎更關(guān)注表層的語(yǔ)言風(fēng)格（聽(tīng)起來(lái)像誰(shuí)），而人類則首先觀察真實(shí)的對(duì)話意圖和上下文（在那個(gè)情境下，誰(shuí)會(huì)這么說(shuō)）。

為什么會(huì)產(chǎn)生這種分歧？這背后其實(shí)是AI與人類智能模式的深刻差異。

正如論文所引述的認(rèn)知科學(xué)家Josh Tenenbaum的觀點(diǎn)：LLM的智能是從海量語(yǔ)言中學(xué)習(xí)模式而“衍生”出來(lái)的，它們是頂級(jí)的模式匹配專家；而人類的智能則“先于”語(yǔ)言，我們是帶著意圖和認(rèn)知去發(fā)展和使用語(yǔ)言這一工具的。

Personaeval：一個(gè)專為L(zhǎng)LM裁判打造的“照妖鏡”

為了系統(tǒng)性地評(píng)估LLM在角色身份識(shí)別上的能力，論文作者精心構(gòu)建了Personaeval基準(zhǔn)。

它有幾個(gè)核心特點(diǎn)，確保了評(píng)估與人類對(duì)齊，以及一定的挑戰(zhàn)性：

源于純正的人類創(chuàng)作：所有對(duì)話數(shù)據(jù)均來(lái)自小說(shuō)、劇本和真實(shí)的人類視頻，而非AI合成內(nèi)容。這保證了評(píng)估的標(biāo)準(zhǔn)根植于真實(shí)的人類判斷，避免了“模型評(píng)價(jià)模型”的數(shù)據(jù)污染。精心設(shè)計(jì)的“干擾項(xiàng)”：在多項(xiàng)選擇任務(wù)中，錯(cuò)誤的選項(xiàng)（distractors）并非隨機(jī)設(shè)置，而是通過(guò)embedding技術(shù)精心挑選出的、與正確角色在語(yǔ)義上最接近的“高仿”角色。這迫使模型進(jìn)行細(xì)致入微的推理，而不是簡(jiǎn)單的模式匹配。專注于“疑難雜癥”：為了避免簡(jiǎn)單的案例虛假拉高模型的表現(xiàn)，論文作者通過(guò)一個(gè)強(qiáng)大的基線模型（Qwen-max）進(jìn)行過(guò)濾，只保留那些連強(qiáng)模型都感到困惑（置信度低于0.5）的“硬核案例”。

△圖2：Personaeval基準(zhǔn)的構(gòu)建流程

整個(gè)基準(zhǔn)包含了三個(gè)不同方向的測(cè)試集：

Personaeval-Literary：來(lái)自771本英文小說(shuō)，測(cè)試模型對(duì)虛構(gòu)敘事角色的推理能力。Personaeval-Drama：來(lái)自中文劇本，測(cè)試模型對(duì)腳本化互動(dòng)中的角色理解。Personaeval-Expertise：來(lái)自WIRED的“5Levels”系列視頻，測(cè)試模型能否根據(jù)語(yǔ)言和概念的復(fù)雜程度，判斷專家是在對(duì)兒童、青少年還是其他專家說(shuō)話。

測(cè)試發(fā)現(xiàn)：AI判斷相較于人類還有巨大差距

在Personaeval這個(gè)“考場(chǎng)”上，現(xiàn)有LLM的表現(xiàn)如何呢？結(jié)果令人震驚。

論文作者對(duì)包括GPT系列、Claude系列、DeepSeek系列在內(nèi)的多個(gè)頂尖模型進(jìn)行了測(cè)試。結(jié)果顯示，即便是表現(xiàn)最好的模型Gemini-2.5-pro，其準(zhǔn)確率也僅為68.8%。相比之下，論文作者組織了一場(chǎng)人類研究，由20名高學(xué)歷志愿者參與，人類的平均準(zhǔn)確率高達(dá)90.8%！

△圖3：LLM在Personaeval上的準(zhǔn)確率與人類水平對(duì)比

上圖直觀地展示了這條巨大的“鴻溝”（Current Gap）。這清晰地回答了論文標(biāo)題中的問(wèn)題：

目前的LLM裁判，還遠(yuǎn)不夠“擬人”，不足以可靠地評(píng)判角色扮演。如何彌補(bǔ)差距？強(qiáng)化“推理”是關(guān)鍵，而非“投喂”角色知識(shí)。

既然發(fā)現(xiàn)了問(wèn)題，那該如何解決？

論文作者進(jìn)一步探索了兩種常見(jiàn)的模型提升策略：

訓(xùn)練時(shí)適配（Training-time Adaptation）：通過(guò)在角色扮演的語(yǔ)料上進(jìn)行微調(diào)（fine-tuning），向模型“注入”更多角色知識(shí)。測(cè)試時(shí)計(jì)算（Test-time Compute）：在推理階段通過(guò)少樣本提示（few-shot prompting）或自洽性（self-consistency）等方法來(lái)提升表現(xiàn)。

結(jié)果再次出人意料。研究發(fā)現(xiàn)，對(duì)模型進(jìn)行角色相關(guān)的微調(diào)，不僅沒(méi)有提升其角色識(shí)別能力，反而可能導(dǎo)致性能下降。這可能是因?yàn)樗烙浻脖车慕巧R(shí)干擾了模型更底層的、通用的推理能力。

△圖4：在角色數(shù)據(jù)上微調(diào)后（粉色柱），模型性能反而下降

與此同時(shí)，測(cè)試時(shí)計(jì)算的方法顯示出更大的潛力，特別是那些為“推理”而生的模型，表現(xiàn)出了明顯的優(yōu)勢(shì)。例如，專為推理任務(wù)優(yōu)化的DeepSeek-R1和QwQ-32B等模型，在基準(zhǔn)測(cè)試中名列前茅。

這表明，想要打造一個(gè)好的“AI裁判”，關(guān)鍵不在于灌輸更多的角色知識(shí)，而在于提升模型本身強(qiáng)大、穩(wěn)健、具有上下文感知能力的推理引擎。

該論文揭示了當(dāng)前流行的“LLM-as-a-judge”評(píng)估范式在一個(gè)基礎(chǔ)卻被忽視的維度上的嚴(yán)重缺陷。

這項(xiàng)研究不僅為我們提供了一個(gè)寶貴的評(píng)估工具，更促使我們重新思考如何構(gòu)建真正與人類價(jià)值觀和判斷力對(duì)齊的AI系統(tǒng)。

未來(lái)的研究或許可以深入分析模型做出錯(cuò)誤判斷的“思考路徑”，從而開(kāi)發(fā)出更有效的、以推理為導(dǎo)向的提升方法。Personaeval，正在朝著這個(gè)目標(biāo)邁進(jìn)。

最終，我們希望AI不僅能“扮演”人類，更能真正“理解”人類的互動(dòng)方式。

作者簡(jiǎn)介

論文第一作者是上海交通大學(xué)博士研究生周凌楓，主要研究大模型智能體、人工智能賦能的社會(huì)科學(xué)等方向。

論文的通訊作者為上海交通大學(xué)長(zhǎng)聘教軌助理教授、博士生導(dǎo)師王德泉。本科畢業(yè)于復(fù)旦大學(xué)，博士畢業(yè)于加州大學(xué)伯克利分校，師從Trevor Darrell教授。近五年論文谷歌學(xué)術(shù)總引用次數(shù) 12000 余次，H-index 22。

項(xiàng)目鏈接：https://github.com/maple-zhou/Personaeval

論文地址：https://arxiv.org/abs/2508.10014