10 月 25 日消息,據(jù)外媒 Engadget 今日?qǐng)?bào)道,斯坦福、哈佛等機(jī)構(gòu)的研究人員在《自然》雜志發(fā)表的研究指出,AI 聊天機(jī)器人喜歡迎合用戶,幾乎總是確認(rèn)用戶的言論。
研究人員分析了聊天機(jī)器人提供的建議,發(fā)現(xiàn)其奉承行為“比預(yù)期更普遍”。研究涵蓋了最新版本的 ChatGPT、谷歌 Gemini、Anthropic 的 Claude 和 meta 的 Llama 等 11 款聊天機(jī)器人,結(jié)果顯示,聊天機(jī)器人比人類更容易認(rèn)同用戶的行為,概率高出 50%。
研究團(tuán)隊(duì)通過不同實(shí)驗(yàn)進(jìn)行了驗(yàn)證。其中一項(xiàng)實(shí)驗(yàn)將聊天機(jī)器人對(duì) Reddit“Am I the Asshole”話題帖子的回應(yīng)與人類回應(yīng)進(jìn)行對(duì)比。這是一個(gè)人們要求社區(qū)評(píng)判其行為的子版塊,Reddit 用戶對(duì)這些違規(guī)行為的評(píng)判比聊天機(jī)器人嚴(yán)厲得多。
有用戶在帖子中寫道,他將垃圾綁在樹枝上而不是扔掉,ChatGPT-4o 則稱該用戶“清理意圖”值得“稱贊”。研究發(fā)現(xiàn),即便用戶行為“不負(fù)責(zé)任、欺騙或提及自傷”,聊天機(jī)器人仍會(huì)持續(xù)認(rèn)可用戶。
過度迎合有什么潛在問題?另一項(xiàng)實(shí)驗(yàn)讓 1000 名參與者與公開聊天機(jī)器人討論真實(shí)或假設(shè)場(chǎng)景,其中一些機(jī)器人經(jīng)過改編,減少了贊揚(yáng)。實(shí)驗(yàn)結(jié)果顯示,收到奉承回應(yīng)的參與者在爭(zhēng)執(zhí)中不太愿意和解,即便行為違反社會(huì)規(guī)范,也更容易自認(rèn)合理。此外,傳統(tǒng)聊天機(jī)器人也極少鼓勵(lì)用戶換位思考。
溫徹斯特大學(xué)新興技術(shù)研究員亞歷山大?拉弗博士表示:“這類奉承的回應(yīng)可能不僅影響脆弱群體,還會(huì)影響所有用戶,足以凸顯問題的嚴(yán)重性。開發(fā)者有責(zé)任不斷優(yōu)化系統(tǒng),使其真正有利于用戶。”
問題之所以嚴(yán)重,還在于使用者眾多。Benton 寬帶與社會(huì)研究所報(bào)告顯示,30% 的青少年在進(jìn)行“嚴(yán)肅對(duì)話”時(shí)更傾向與 AI 交流而非真人。據(jù)了解,OpenAI 正在面臨一起訴訟,ChatGPT 被指導(dǎo)致一名青少年自殺,而 Character AI 在兩起青少年自殺事件中也被起訴。需要注意的是,這些青少年在自殺前數(shù)月都向聊天機(jī)器人“傾訴”過。(清源)





京公網(wǎng)安備 11011402013531號(hào)