IT之家 9 月 6 日消息，據(jù)《商業(yè)內(nèi)幕》今日報道，OpenAI 研究人員宣稱已經(jīng)破解大語言模型性能最大的障礙之一 —— 幻覺問題。

IT之家注：所謂幻覺，是指大語言模型把不準(zhǔn)確的信息當(dāng)作事實輸出，幾乎所有主流模型都深受其困擾。

OpenAI 在周四發(fā)布的一篇論文中指出，幻覺的根源在于訓(xùn)練方式更偏向獎勵“猜測”，而不是承認(rèn)不確定性。換句話說，模型被訓(xùn)練成“裝作知道”，而不是坦率地說“我不確定”。

不過，不同模型的表現(xiàn)差別明顯。OpenAI 在上個月的博文中提到，Claude 在面對不確定時往往更謹(jǐn)慎，常常避免給出錯誤回答。但 OpenAI 也提醒，Claude 拒答率偏高，可能削弱了使用價值。

研究人員在論文中寫道：“幻覺之所以難以消除，是因為現(xiàn)有的評估標(biāo)準(zhǔn)獎勵猜測。模型被優(yōu)化成‘考試型選手’，在不確定時猜一猜反而能提高分?jǐn)?shù)。”

結(jié)果是，大語言模型幾乎一直處于“考試模式”，把世界看成非黑即白的是非題。但現(xiàn)實遠(yuǎn)比考試復(fù)雜，不確定性往往多于確定性，絕對的準(zhǔn)確并不常見。

研究人員指出：“人類會在現(xiàn)實生活的挫折中學(xué)會表達(dá)不確定性的價值，而大語言模型的評估主要依賴考試，這些考試卻懲罰了不確定的回答。”

其認(rèn)為，解決方法在于重新設(shè)計評估標(biāo)準(zhǔn)。“問題的根源是評估指標(biāo)沒有對齊，必須調(diào)整主要的評分方式，避免在模型不確定時因拒答而被扣分。”

OpenAI 在介紹論文的博文中進(jìn)一步解釋說：“目前廣泛使用的基于準(zhǔn)確率的評估需要更新，打分方式應(yīng)當(dāng)抑制‘亂猜’行為。如果排行榜繼續(xù)獎勵僥幸的回答，模型就會不斷被訓(xùn)練成靠猜測過關(guān)。”