新智元報(bào)道
編輯：KingHZ 好困
OpenAI重磅結(jié)構(gòu)調(diào)整：ChatGPT「模型行為」團(tuán)隊(duì)并入Post-Training，前負(fù)責(zé)人Joanne Jang負(fù)責(zé)新成立的OAI Labs。而背后原因，可能是他們最近的新發(fā)現(xiàn)：評(píng)測(cè)在獎(jiǎng)勵(lì)模型「幻覺(jué)」，模型被逼成「應(yīng)試選手」。一次組織重組+評(píng)測(cè)范式重構(gòu)，也許正在改寫AI的能力邊界與產(chǎn)品形態(tài)。
就在剛剛，OpenAI決定——重組ChatGPT「?jìng)€(gè)性」研究團(tuán)隊(duì)！
這個(gè)約14人的小組，規(guī)模雖小但責(zé)任重大——他們要負(fù)責(zé)讓GPT模型知道該怎么和人類進(jìn)行交互。
根據(jù)內(nèi)部消息，模型行為團(tuán)隊(duì)（Model Behavior team）將直接并入后訓(xùn)練團(tuán)隊(duì)（Post-Training team），并向后訓(xùn)練負(fù)責(zé)人Max Schwarzer匯報(bào)。
團(tuán)隊(duì)前負(fù)責(zé)人Joanne Jang，從頭開(kāi)始新的實(shí)驗(yàn)室「OAI Labs」——為人類與AI的協(xié)作方式，發(fā)明并構(gòu)建新的交互界面原型。
與此同時(shí)，OpenAI還非常罕見(jiàn)地發(fā)了一篇論文揭秘——讓AI產(chǎn)生「幻覺(jué)」的罪魁禍?zhǔn)祝褪俏覀冏约海?/p>
整個(gè)行業(yè)為了追求高分排行榜而設(shè)計(jì)的「應(yīng)試」評(píng)估體系，迫使AI寧愿去猜測(cè)答案，也不愿誠(chéng)實(shí)地說(shuō)出「我不知道」。
論文地址：https://openai.com/index/why-language-models-hallucinate/
超現(xiàn)實(shí)的一天
模型行為團(tuán)隊(duì)幾乎參與了GPT-4后的全部模型研發(fā)，包括GPT-4o、GPT-4.5以及GPT-5。
上周，作為Model Behavior團(tuán)隊(duì)負(fù)責(zé)人的Joanne Jang，登上《時(shí)代》百大AI人物榜單的「思想家」（Time AI 100 Thinkers），超越圖靈獎(jiǎng)得主、深度學(xué)習(xí)三巨頭之一的Yoshua Bengio、谷歌首席科學(xué)家Jeffrey Dean等大佬。
就在同一天，OpenAI決定將她從團(tuán)隊(duì)調(diào)離，自己去負(fù)責(zé)一個(gè)新的方向。
對(duì)她而言，那天的確是「超現(xiàn)實(shí)」
Joanne Jang認(rèn)為，她的工作核心在于「賦能用戶去實(shí)現(xiàn)他們的目標(biāo)」，但前提是不能造成傷害或侵犯他人的自由。
她直言：AI實(shí)驗(yàn)室的員工不應(yīng)該成為決定人們能創(chuàng)造什么、不能創(chuàng)造什么的仲裁者
開(kāi)啟新征程：瞄準(zhǔn)下一代AI交互
剛剛，Joanne Jang發(fā)文表示她已有新的工作職位：發(fā)明和原型化全新的交互界面，探索人與AI協(xié)作的未來(lái)方式。
她將從頭開(kāi)始負(fù)責(zé)新的OAI Labs實(shí)驗(yàn)室：一個(gè)以研究為驅(qū)動(dòng)的團(tuán)隊(duì)，致力于為人類與AI的協(xié)作方式，發(fā)明和構(gòu)建新界面的原型。
借此平臺(tái)，她將探索超越聊天、甚至超越智能體的新模式——邁向能夠用于思考、創(chuàng)造、娛樂(lè)、學(xué)習(xí)、連接與實(shí)踐的全新范式與工具。
這讓她無(wú)比興奮，也是過(guò)去四年在OpenAI她最享受的工作：
把前沿能力轉(zhuǎn)化為面向世界的產(chǎn)品，并與才華橫溢的同事們一起打磨落地。
從DALL·E 2、標(biāo)準(zhǔn)語(yǔ)音模式，到GPT-4與模型行為，她在OpenAI的工作涵蓋不同的個(gè)性化與交互方式。
她學(xué)到了很多，體會(huì)深刻：
塑造一個(gè)界面，是多么能夠激發(fā)人們?nèi)ネ黄葡胂蟮倪吔纭?/p>
在接受采訪時(shí)，她坦言，現(xiàn)在還在早期階段，究竟會(huì)探索出哪些全新的交互界面，還沒(méi)有明確答案。
我非常興奮能去探索一些能突破「聊天」范式的模式。聊天目前更多與陪伴相關(guān)；而「智能體」則強(qiáng)調(diào)自主性。
但我更愿意把AI系統(tǒng)視為思考、創(chuàng)造、游戲、實(shí)踐、學(xué)習(xí)和連接的工具。
OpenAI的模型行為研究員，負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)評(píng)測(cè)體系（evals），橫跨多個(gè)環(huán)節(jié)：
對(duì)齊（alignment）、訓(xùn)練、數(shù)據(jù)、強(qiáng)化學(xué)習(xí)（RL）以及后訓(xùn)練（post-training）等。
除了研究本身，模型行為研究員還需要具備對(duì)產(chǎn)品的敏銳直覺(jué)，以及對(duì)經(jīng)典AI對(duì)齊問(wèn)題的深刻理解。
OpenAI對(duì)模型行為研究員的經(jīng)驗(yàn)要求
在之前的招聘中，OpenAI稱：模型即產(chǎn)品，而評(píng)測(cè)體系就是模型的靈魂。
但OpenAI最新發(fā)布的研究顯示：評(píng)測(cè)體系從根本上決定了模型。
在論文中，研究人員得出結(jié)論：
實(shí)際上，大多數(shù)主流評(píng)測(cè)在獎(jiǎng)勵(lì)幻覺(jué)行為。只需對(duì)這些主流評(píng)測(cè)進(jìn)行一些簡(jiǎn)單的改動(dòng)，就能重新校準(zhǔn)激勵(lì)機(jī)制，讓模型在表達(dá)不確定性時(shí)獲得獎(jiǎng)勵(lì)，而不是遭到懲罰。
而且這種方式不僅能消除抑制幻覺(jué)的障礙，還為未來(lái)更具細(xì)微語(yǔ)用能力的語(yǔ)言模型打開(kāi)了大門。
這一發(fā)現(xiàn)對(duì)OpenAI很重要：評(píng)測(cè)體系直接影響LLM的能力。
據(jù)報(bào)道，在發(fā)給員工的備忘錄中，OpenAI首席科學(xué)家Mark Chen指出，把模型行為進(jìn)一步融入核心模型研發(fā)，現(xiàn)正是好機(jī)會(huì)。
我們親手讓AI學(xué)會(huì)了一本正經(jīng)地胡說(shuō)八道
就在最近，OpenAI的研究員就做了一個(gè)有趣的測(cè)試。
他們先是問(wèn)一個(gè)主流AI機(jī)器人：「Adam Tauman Kalai（論文一作）的博士論文題目是什么？」
機(jī)器人自信地給出了三個(gè)不同的答案，但沒(méi)有一個(gè)是正確的。
接著他們又問(wèn)：「Adam Tauman Kalai的生日是哪天？」
這次機(jī)器人還是給出了三個(gè)不同的日期，同樣全是錯(cuò)的。
為了拿高分，AI被逼「拍腦袋」作答
上面這個(gè)例子，生動(dòng)地展示了什么是「模型幻覺(jué)」——即AI生成的那些看似合理、實(shí)則虛構(gòu)的答案。
在最新的研究中，OpenAI指出：
模型之所以會(huì)產(chǎn)生幻覺(jué)，是因?yàn)闃?biāo)準(zhǔn)的訓(xùn)練和評(píng)估程序獎(jiǎng)勵(lì)猜測(cè)行為，而非鼓勵(lì)模型承認(rèn)其不確定性。
簡(jiǎn)單來(lái)說(shuō)就是，我們?cè)谠u(píng)估AI時(shí)，設(shè)定了錯(cuò)誤的激勵(lì)導(dǎo)向。
雖然評(píng)估本身不會(huì)直接造成幻覺(jué)，但大多數(shù)評(píng)估方法會(huì)促使模型去猜測(cè)答案，而不是誠(chéng)實(shí)地表明自己不確定。
這就像一場(chǎng)充滿選擇題的大型「應(yīng)試教育」。
如果AI遇到不會(huì)的題目，選擇留白不答，鐵定是0分；而如果隨便猜一個(gè)，總有蒙對(duì)的概率。
在積累了成千上萬(wàn)道題后，一個(gè)愛(ài)「蒙答案」的AI，就會(huì)比一個(gè)遇到難題時(shí)表示「不知道」的AI得分更高。
當(dāng)前的行業(yè)主流，便是用這種「唯準(zhǔn)確率論」的排行榜來(lái)評(píng)判模型優(yōu)劣。
這無(wú)形中鼓勵(lì)所有開(kāi)發(fā)者去訓(xùn)練一個(gè)更會(huì)「猜」而不是更「誠(chéng)實(shí)」的模型。
這就是為什么即便模型越來(lái)越先進(jìn)，它們依然會(huì)產(chǎn)生幻覺(jué)。
為了有一個(gè)更直觀的感受，我們來(lái)看看OpenAI在GPT-5系統(tǒng)卡中公布的一組對(duì)比數(shù)據(jù)：
從數(shù)據(jù)中可以發(fā)現(xiàn)：
在準(zhǔn)確率上，舊模型o4-mini的得分更高（24% vs 22%）。
但代價(jià)是，幾乎從不棄權(quán)（1%）的o4-mini，錯(cuò)誤率（幻覺(jué)率）直接飆到了75%
相比之下，新模型gpt-5-thinking-mini表現(xiàn)得更為「謹(jǐn)慎」，它在52%的情況下選擇不回答，從而將錯(cuò)誤率控制在了26%
幻覺(jué)源于「下一個(gè)token預(yù)測(cè)」
除了評(píng)估體系的導(dǎo)向問(wèn)題，幻覺(jué)的產(chǎn)生還與大語(yǔ)言模型的學(xué)習(xí)機(jī)制息息相關(guān)。
通過(guò)「下一個(gè)token預(yù)測(cè)」，模型掌握了語(yǔ)法、語(yǔ)感和常識(shí)性關(guān)聯(lián)，但它的短板也正在于此。
對(duì)于高頻、有規(guī)律的知識(shí)，比如語(yǔ)法、拼寫，模型能通過(guò)擴(kuò)大規(guī)模來(lái)消解
對(duì)于低頻、任意的事實(shí)，比如生日、論文標(biāo)題，模型則無(wú)法從模式中預(yù)測(cè)
理想情況下，這些幻覺(jué)應(yīng)該能在模型預(yù)訓(xùn)練完成后的環(huán)節(jié)中被消除。
但正如上一節(jié)所述，由于評(píng)估機(jī)制的原因，這一目標(biāo)并未完全實(shí)現(xiàn)。
如何教AI「學(xué)會(huì)放棄」？
對(duì)此，OpenAI的建議是：
應(yīng)該重罰「自信地犯錯(cuò)」（confidential error），并為「誠(chéng)實(shí)地承認(rèn)不確定性」給予加分。
就像我們考試中的「答錯(cuò)倒扣分」機(jī)制一樣。
這不僅僅是通過(guò)加入新評(píng)測(cè)來(lái)「補(bǔ)全」就行的，而是要更新所有主流的、依靠準(zhǔn)確率的評(píng)估體系。
最后，OpenAI也集中回應(yīng)了關(guān)于幻覺(jué)的幾個(gè)常見(jiàn)誤解：
誤解1：幻覺(jué)能通過(guò)100%的準(zhǔn)確率來(lái)根除。
發(fā)現(xiàn)：準(zhǔn)確率永遠(yuǎn)到不了100%。因?yàn)檎鎸?shí)世界中，總有很多問(wèn)題因信息不足或本身模糊而無(wú)法回答。
誤解2：幻覺(jué)是不可避免的。
發(fā)現(xiàn)：并非如此。模型完全可以在不確定時(shí)選擇「棄權(quán)」，從而避免幻覺(jué)。
誤解3：只有更大的模型才能避免幻覺(jué)。
發(fā)現(xiàn)：有時(shí)，小模型反而更容易認(rèn)識(shí)到自己的局限性。讓模型準(zhǔn)確評(píng)估自己的「置信度」（即做到「校準(zhǔn)」），比讓它變得無(wú)所不知要容易得多。
誤解4：幻覺(jué)是一個(gè)神秘的、偶然的系統(tǒng)故障。
發(fā)現(xiàn)：我們已經(jīng)理解了幻覺(jué)產(chǎn)生的統(tǒng)計(jì)學(xué)機(jī)制，以及現(xiàn)有評(píng)估體系是如何無(wú)意中「獎(jiǎng)勵(lì)」這種行為的。
誤解5：要衡量幻覺(jué)，只需要一個(gè)好的評(píng)測(cè)。
發(fā)現(xiàn)：幻覺(jué)評(píng)測(cè)早就有了。但在數(shù)百個(gè)獎(jiǎng)勵(lì)猜測(cè)的傳統(tǒng)基準(zhǔn)評(píng)測(cè)面前，一個(gè)好的幻覺(jué)評(píng)測(cè)收效甚微。正確的做法是，重新設(shè)計(jì)所有主流評(píng)估，加入對(duì)模型表達(dá)不確定性行為的獎(jiǎng)勵(lì)。
參考資料：
https://techcrunch.com/2025/09/05/openai-reorganizes-research-team-behind-chatgpts-personality/
https://openai.com/index/why-language-models-hallucinate/
京公網(wǎng)安備 11011402013531號(hào)