新智元報道

編輯：元宇

《Science》的一篇新文章指出，大模型存在一個先天難解的軟肋：幻覺難以根除。AI廠商讓大模型在不確定性情況下說「我不知道」，雖然有助于減少模型幻覺，但可能因此影響用戶留存與活躍度，動搖商業(yè)根本。

就在OpenAI完成重組，解除上市限制的當(dāng)天，《Science》一篇熱文曝出大模型的一個先天致命軟肋，這一軟肋導(dǎo)致大模型難以徹底擺脫幻覺。

文章指出，雖然OpenAI完成了期待已久的重組，但它的核心產(chǎn)品仍會出現(xiàn)幻覺。

以往我們經(jīng)常將這種幻覺主要歸因于訓(xùn)練數(shù)據(jù)質(zhì)量，但這一解釋并不充分。

上個月OpenAI與佐治亞理工學(xué)院的研究團隊在一篇預(yù)印本論文中指出：

就像學(xué)生在考試遇到難題時會「蒙」答案一樣，大模型在不確定的情況下也會傾向于「猜」，生成看似合理但其實錯誤的回答，而不是承認(rèn)自己不知道。

論文：https://arxiv.org/abs/2509.04664《大模型為何會產(chǎn)生幻覺》

在不確定時選擇「我不知道」，可顯著降低幻覺，但為什么模型設(shè)計者們沒有這么做？

研究人員認(rèn)為問題主要出在大模型的訓(xùn)練和評估機制上：

在大模型的訓(xùn)練和評估過程中更傾向于「獎勵猜測」，而不是「鼓勵承認(rèn)不確定性」。

但要改變這一點并不容易。

讓大模型學(xué)會說「我不知道」，也可能動搖AI廠商的商業(yè)根基。

比如，有人就質(zhì)疑OpenAI是否會真心讓自家模型更重視「真實性」而不是「吸引力」。

這是一個極大的挑戰(zhàn)。

如果ChatGPT經(jīng)?；卮稹肝也恢馈?，用戶可能就會流失到競爭對手那里。

大模型幻覺為何難以根除？

「如果把幻覺徹底修好，將會殺死這個產(chǎn)品」。

謝菲爾德大學(xué)的AI研究員魏星曾發(fā)文稱OpenAI的「反幻覺」方案會殺死ChatGPT。

OpenAI的研究人員認(rèn)為幻覺并不神秘，他們分析了大模型在預(yù)訓(xùn)練階段可能導(dǎo)致的錯誤，發(fā)現(xiàn)即使訓(xùn)練數(shù)據(jù)無誤，預(yù)訓(xùn)練目標(biāo)也可能使模型產(chǎn)生錯誤。

研究人員進一步指出，幻覺之所以在后續(xù)階段持續(xù)存在，是因為主流評估體系的評分方式鼓勵模型像學(xué)生考試一樣去「猜」，而不是誠實地表達不確定性。

OpenAI曾探討過幻覺難以根除的原因，認(rèn)為其源頭在于預(yù)訓(xùn)練的「下一個詞預(yù)測」：模型通過學(xué)習(xí)海量文本，掌握如何根據(jù)統(tǒng)計規(guī)律預(yù)測下一個詞。

但這種預(yù)測就像是囫圇吞棗，每個語句都沒有通過「真/假」標(biāo)簽進行優(yōu)化，當(dāng)缺乏標(biāo)記為錯誤的示例時，有效語句與無效語句的區(qū)分就顯得尤為困難，因此會出現(xiàn)幻覺。

以圖片識別舉例，若數(shù)百萬張貓狗照片被標(biāo)注為「貓」或「狗」，算法便能可靠分類。

但如果改為按寵物生日標(biāo)注照片，由于生日數(shù)據(jù)本質(zhì)上隨機，無論算法多么先進，此任務(wù)必然產(chǎn)生錯誤。

在語言模型的預(yù)訓(xùn)練中也存在類似機制。

比如拼寫和括號遵循固定模式，因此隨規(guī)模擴大錯誤會消失。

而像寵物生日這類任意低頻事實無法僅憑模式預(yù)測，因此容易導(dǎo)致幻覺。

OpenAI澄清了幾種關(guān)于模型「幻覺」的誤解：

誤解：提高準(zhǔn)確率就能消除幻覺，因為100%準(zhǔn)確的模型永遠(yuǎn)不會產(chǎn)生幻覺。

主張：準(zhǔn)確率永遠(yuǎn)無法達到100%，因為無論模型規(guī)模、搜索能力或推理能力如何，某些現(xiàn)實世界的問題本質(zhì)上無法解答。

誤解：幻覺現(xiàn)象不可避免。

主張：并非如此，因為語言模型在不確定時可選擇保持沉默。

誤解：避免幻覺需要特定程度的智能，而這僅能通過大型模型實現(xiàn)。

主張：小型模型更易認(rèn)知自身局限。例如面對毛利語問題時，不懂毛利語的小型模型可直接回應(yīng)「我不知道」，而掌握部分毛利語的模型則需評估回答信心。

誤解：幻覺是現(xiàn)代語言模型中神秘的故障現(xiàn)象。

主張：我們已理解幻覺產(chǎn)生的統(tǒng)計機制及其在評估中的獎勵機制。

為什么大模型「刷榜」難杜絕？

OpenAI官方博客在介紹這篇論文時，將幻覺描述為「看似合理卻錯誤的陳述」。

博客：https://openai.com/zh-Hans-CN/index/why-language-models-hallucinate/

而且幻覺的出現(xiàn)具有不可預(yù)知性，它可能以出人意料的方式出現(xiàn)。

比如，你詢問一篇論文的標(biāo)題，它會自信地給出三個不同答案，但都是錯誤的。

該論文的合著者、OpenAI研究科學(xué)家Adam Kalai認(rèn)為，雖然我們永遠(yuǎn)不可能做到100%準(zhǔn)確，但這并不意味著模型必須要產(chǎn)生幻覺。

解決之道可以在「后訓(xùn)練」階段，借助人類反饋和其他微調(diào)（fine-tuning）方法會引導(dǎo)模型變得更安全、更精確。

但這也會導(dǎo)致大模型「刷榜」的現(xiàn)象：

由于模型表現(xiàn)會通過標(biāo)準(zhǔn)化基準(zhǔn)測試來評分，得分高就意味著名氣和商業(yè)成功，于是公司就往往將訓(xùn)練目標(biāo)鎖定在「刷高分」上。

OpenAI認(rèn)為，幻覺現(xiàn)象持續(xù)存在，部分原因在于當(dāng)前評估方法設(shè)置了錯誤的激勵機制。

研究人員分析了十大熱門基準(zhǔn)測試中，有九個都采用「答對得1分，空白或錯誤得0分」的二元評分方式，只有WildBench的評分標(biāo)準(zhǔn)為1–10分制。

雖然回答「我不知道」可能被認(rèn)為比「嚴(yán)重幻覺但看起來合理的回答」略好，但總體上仍會被評為低于「勉強合格」的回答。

這意味著IDK（我不知道）在該基準(zhǔn)下可能得到部分分?jǐn)?shù)，但不會被視為優(yōu)選策略。

在這種評分機制下，由于「隨意猜測」和「不答」懲罰相同，那些喜歡「不懂裝懂」的模型，反而會被謹(jǐn)慎回答「我不知道」的模型更容易拿高分。

舉個例子，假設(shè)大模型被問及某人生日但卻不知答案，如果隨便猜一天，就會有1/365的概率猜中，而說「不知道」則必然得零分。

如果在數(shù)千道測試題中，這種猜測型模型最終在評分機制中的表現(xiàn)會優(yōu)于承認(rèn)不確定性的謹(jǐn)慎模型。

Kalai推測，這可能正是過去防幻覺方案遲遲無法落地的原因。

為什么準(zhǔn)確率得分越高

幻覺也可能越大

針對唯一「正確答案」的純客觀問題，OpenAI將模型的回復(fù)分為三類：準(zhǔn)確回復(fù)、錯誤回復(fù)以及不妄加猜測的棄權(quán)。

OpenAI認(rèn)為「棄權(quán)」體現(xiàn)了謙遜，并將之視為核心價值觀。

就準(zhǔn)確性而言，前代o4-mini模型表現(xiàn)略勝一籌，然而其錯誤率（即產(chǎn)生幻覺的概率）顯著更高。

這說明，在不確定時采取策略性猜測雖能提升準(zhǔn)確率，卻會增加錯誤和幻覺的發(fā)生。

OpenAI認(rèn)為僅以準(zhǔn)確率為標(biāo)準(zhǔn)的評分機制仍主導(dǎo)著模型評估體系，促使開發(fā)人員傾向于構(gòu)建盲目猜測而非保留不確定性的模型：

「這正是模型雖然日益進步但仍會產(chǎn)生幻覺，即自信給出錯誤答案而非承認(rèn)不確定性的重要原因」。

因此，OpenAI的研究團隊呼吁重新設(shè)計評分機制，讓錯誤猜測受到懲罰，從而讓模型在「碰壁中學(xué)會謙虛」。

即使好意的調(diào)整

也可能引發(fā)反效果

普林斯頓大學(xué)計算機科學(xué)家、SWE-Bench基準(zhǔn)創(chuàng)建者Carlos Jimenez認(rèn)為想要改評分標(biāo)準(zhǔn)并不容易。

因為不同主題領(lǐng)域都有獨特的評估方式，「每個學(xué)科在衡量不確定性或信心時都有自己的標(biāo)準(zhǔn)?！?/p>

此外，也有學(xué)者擔(dān)心好意的調(diào)整也可能引發(fā)反效果。

伊利諾伊大學(xué)厄巴納-香檳分校的計算機科學(xué)家彭昊警告說，鼓勵模型說「我不知道」與當(dāng)前優(yōu)化大模型「自信度」的做法一樣，也可能帶來新的幻覺。

他略帶悲觀地指出，目前恐怕沒有任何數(shù)據(jù)或指標(biāo)能自然地解決幻覺問題，因為這些模型「太擅長鉆系統(tǒng)的空子了」。

模型幻覺并非單純的數(shù)據(jù)問題，而是訓(xùn)練機制、評測體系與商業(yè)模式綜合因素導(dǎo)致的結(jié)果。

在技術(shù)層面，研究者普遍認(rèn)為幻覺無法徹底根除，只能被緩解；

在商業(yè)層面，若模型頻繁回答「我不知道」，用戶體驗與留存率都可能下降。

當(dāng)前，以O(shè)penAI、Anthropic為代表的AI初創(chuàng)公司都面臨著巨大的盈利壓力，在讓模型更真實和更有吸引力之間，沒有公司愿意冒著失掉用戶的風(fēng)險，率先犧牲吸引力，因為這很可能將用戶推向那些看起來更「自信」的競爭者。

但是從AI技術(shù)的進步來看，讓AI學(xué)會說「我不知道」有助于減少幻覺，推動模型向更成熟的方向進化。

參考資料：

https://www.science.org/content/article/ai-hallucinates-because-it-s-trained-fake-answers-it-doesn-t-know%20

https://openai.com/zh-Hans-CN/index/why-language-models-hallucinate/