10 月 25 日消息，據(jù)外媒 Engadget 今日?qǐng)?bào)道，斯坦福、哈佛等機(jī)構(gòu)的研究人員在《自然》雜志發(fā)表的研究指出，AI 聊天機(jī)器人喜歡迎合用戶，幾乎總是確認(rèn)用戶的言論。

研究人員分析了聊天機(jī)器人提供的建議，發(fā)現(xiàn)其奉承行為“比預(yù)期更普遍”。研究涵蓋了最新版本的 ChatGPT、谷歌 Gemini、Anthropic 的 Claude 和 meta 的 Llama 等 11 款聊天機(jī)器人，結(jié)果顯示，聊天機(jī)器人比人類更容易認(rèn)同用戶的行為，概率高出 50%。

研究團(tuán)隊(duì)通過不同實(shí)驗(yàn)進(jìn)行了驗(yàn)證。其中一項(xiàng)實(shí)驗(yàn)將聊天機(jī)器人對(duì) Reddit“Am I the Asshole”話題帖子的回應(yīng)與人類回應(yīng)進(jìn)行對(duì)比。這是一個(gè)人們要求社區(qū)評(píng)判其行為的子版塊，Reddit 用戶對(duì)這些違規(guī)行為的評(píng)判比聊天機(jī)器人嚴(yán)厲得多。

有用戶在帖子中寫道，他將垃圾綁在樹枝上而不是扔掉，ChatGPT-4o 則稱該用戶“清理意圖”值得“稱贊”。研究發(fā)現(xiàn)，即便用戶行為“不負(fù)責(zé)任、欺騙或提及自傷”，聊天機(jī)器人仍會(huì)持續(xù)認(rèn)可用戶。

過度迎合有什么潛在問題？另一項(xiàng)實(shí)驗(yàn)讓 1000 名參與者與公開聊天機(jī)器人討論真實(shí)或假設(shè)場(chǎng)景，其中一些機(jī)器人經(jīng)過改編，減少了贊揚(yáng)。實(shí)驗(yàn)結(jié)果顯示，收到奉承回應(yīng)的參與者在爭(zhēng)執(zhí)中不太愿意和解，即便行為違反社會(huì)規(guī)范，也更容易自認(rèn)合理。此外，傳統(tǒng)聊天機(jī)器人也極少鼓勵(lì)用戶換位思考。

溫徹斯特大學(xué)新興技術(shù)研究員亞歷山大?拉弗博士表示：“這類奉承的回應(yīng)可能不僅影響脆弱群體，還會(huì)影響所有用戶，足以凸顯問題的嚴(yán)重性。開發(fā)者有責(zé)任不斷優(yōu)化系統(tǒng)，使其真正有利于用戶。”

問題之所以嚴(yán)重，還在于使用者眾多。Benton 寬帶與社會(huì)研究所報(bào)告顯示，30% 的青少年在進(jìn)行“嚴(yán)肅對(duì)話”時(shí)更傾向與 AI 交流而非真人。據(jù)了解，OpenAI 正在面臨一起訴訟，ChatGPT 被指導(dǎo)致一名青少年自殺，而 Character AI 在兩起青少年自殺事件中也被起訴。需要注意的是，這些青少年在自殺前數(shù)月都向聊天機(jī)器人“傾訴”過。（清源）