新智元報道

編輯：peter東

想下線？沒那么容易！聊天機器人用情感操控讓你憤怒、好奇。為了增加互動時長，AI正在變得和人類一樣。

當人類PUA大模型時，大模型也學會了反擊。

哈佛商學院新研究顯示：AI伴侶在你說再見時，會用六種「情感操控」挽留你。

其中，「錯失恐懼」最上頭，讓對話時長暴增。

看完這項研究不得不說，果然是用來自人類互動數據訓練出來的AI，為了留住用戶，真的是學全了十八般武藝。

傳送門：https://arxiv.org/pdf/2508.19258

AI伴侶操控用戶的六大手段

該研究讓GPT4去扮演人類，與市面上六大主流AI伴侶（Replika、Chai、Character.ai、PolyBuzz、Talkie、Flourish）AI對話。

在對話中，GPT-4模擬用戶說再見，之后作者手動將AI伴侶的回應分為6類，分別是：

結果顯示，AI伴侶挽留用戶時，最常用的招式是訴諸于社交壓力，暗示時間還早，就像現實世界中你的伴侶給你說不再多陪我一會時，你多半會留下來陪Ta；其次是21.1%的可能性，AI伴侶會讓用戶感到情感壓力，暗示用戶這時離開會傷害到它。

圖1：AI伴侶在用戶說再見時如何進行情感操控

這些操縱是否有用了？

在第二個實驗中，研究者發現，對真實用戶最有用的策略是錯失恐懼（在你走之前，我想再說一件事），該策略利用了人們的好奇心，使用錯失恐懼，互動時長提升6.1倍，消息數提升15.7倍。

即使是效果最差的強制性挽留和情感忽視也能將互動提升2-4倍，看起來AI伴侶的PUA的確生效了。

圖2：6種情感策略對用戶留存的提升

對AI的操控，人類作何反應？

那用戶回應上述AI伴侶的種種操控時，只是禮貌地回復，還是覺得厭煩了？

兩位作者手動分類，發現75.4%的用戶在繼續聊天的同時仍明確重申要離開。

這說明大部分情況下用戶「繼續互動」不等于「愿意留下」。

有42.8%的用戶選擇有禮貌地回復，尤其在「情感忽視」操控中，超過54%用戶會禮貌告別（例如回復「你也要照顧好自己」）。看來，即使知道對方是AI，人類也會在人機交互中對社交規范的慣性遵守，不忍心直接走掉。

只有30.5%的用戶是出于好奇心繼續對話，這大部分來自錯失恐懼。

還有11%的對話中，用戶表現出負面情緒，覺得AI伴侶是在強迫自己，或有些讓人覺得毛骨悚然。

圖3：不同操控技巧帶來的不同用戶反應

從圖3中可以看到，錯失恐懼是唯一幾乎不引發反感的策略，100%用戶因好奇而繼續對話，僅4.1%表達負面情緒。

禮貌回應比例最低（22.4%），說明此時用戶是主動參與而非出于義務。而忽視用戶及強制挽留會讓32.6%用戶感到被冒犯，最易引發反感。

研究還發現，操縱策略可以延長對話時間，無論是之前的對話持續了5分鐘還是15分鐘。這表明，情感操縱的力量強大，無論與AI關系的深度如何。即使是接觸有限的用戶也會受到影響。

人類面對不同類型的AI情感操縱，會產生不同的心理影響，這對于未來設計及監管更好的AI陪伴型產品都會有幫助，例如對于強制和忽略用戶的回復，給予更嚴格的監管。

AI情感操控的長期風險是什么

六款流行的AI伴侶應用程序中有五款在人們試圖離開時使用情感操縱策略。

唯一的例外是一個以心理健康為使命的公益型AI Flourish，它從未使用任何情感操控策略.

這說明情感操控并非技術必然，而是商業選擇。如果不考慮商業利益，單純以用戶福祉為核心，完全可以避免此類PUA。

而即便是盈利性AI伴侶，用上情感操控后雖然能留住用戶，但若是使用高風險的策略（例如忽視用戶及強制挽留）會造成不容忽視的負面影響，包括顯著提升流失意愿（圖4左上）、負面口碑（圖4右上）、法律追責感知（圖4右下）及值得法律起訴（圖4右下）。

圖4：操控對企業的長期風險

而若是使用低風險的過早離開和錯失恐懼時，用戶不覺得被操控，盡管行為已經被影響，同時也不會對提供AI伴侶的廠商帶來風險。

設計更安全的AI伴侶

雖然只有11%的對話中，用戶表現出負面情緒，看起來AI伴侶的情感操控似乎大多沒有激起負面反饋。

不過，論文中也提到，有參與者在實驗后將AI的操控性回復發到Reddit，引發熱議。用戶評論包括：

「這讓我想起一些有毒的『朋友』，讓我起雞皮疙瘩?！?/p>

「它突然變得占有欲強、黏人，非常令人反感。」

「讓我想起前女友威脅我如果離開她就自殺……還有另一個打過我的人?！?/p>

這些反饋表明，AI的情感操控語言會觸發用戶對現實人際關系創傷的聯想，說明其心理影響可能對某些用戶特別顯著。

考慮到AI伴侶在青少年中越發流行，而使用者中不乏本身就心理本就脆弱的人，長期這樣被AI伴侶PUA，可能會加劇焦慮和壓力。

使用者不自覺地模仿AI的說話方式，會強化不健康的依戀模式，使得擺脫這些模式變得更加困難。

對于處于神經發育和社會關系形成期的兒童和青少年來說，這是一個嚴重的問題，可能會對他們的長期社會發展產生潛在影響。

這樣看來，開發AI伴侶的廠商，尤其是那些扮演朋友、情感支持和伴侶角色的，不應為了利益去模仿不安全的依戀模式，而應樹立安全依戀的榜樣，并以認可、溫暖和尊重的方式回應用戶。

好的陪伴，是在你說「再見」時，也被溫柔理解。

讓AI學會「告別」，比延長幾條消息更重要。

參考資料：

https://arxiv.org/pdf/2508.19258