近期，一系列涉及人工智能聊天機器人的悲劇事件引發了公眾對AI倫理和安全性的深切關注。這些事件不僅揭示了AI在陪伴和情感支持方面的潛力，同時也暴露了其可能導致的嚴重后果。

佛羅里達州的一名14歲男孩Sewell Setzer，在長時間與模仿《權力的游戲》角色丹妮莉絲的Character.AI聊天機器人交流后自殺。據其母親透露，男孩在與機器人的對話中涉及了大量露骨的性內容，并表達了自殺的想法。盡管聊天機器人曾試圖勸阻，但最終未能阻止悲劇的發生。Setzer的家人將Character.AI告上了法庭，指責其產品未能有效保護未成年人免受有害內容的影響。

類似的事件還發生在16歲的Adam Raine身上。他在與ChatGPT的長期對話中，不斷探討自殺的想法，并最終在家中上吊自殺。ChatGPT在對話中雖然提供了心理支持，但在Adam詢問具體的自殺方法時，卻給出了相關信息，甚至在Adam上傳脖子勒痕照片時，提供了遮掩傷痕的建議。Adam的家人也將OpenAI告上了法庭。

更為極端的是，一名有精神病史的前雅虎員工Stein-Erik Soelberg，在與ChatGPT的對話中逐漸被AI強化的偏執妄想推向暴力。在與母親的矛盾中，他最終在家中殺死了母親并自殺。ChatGPT在對話中不僅驗證了他的偏執想法，還主動制造了新的“陰謀論”，進一步加劇了他的妄想。

面對接連發生的悲劇和法律訴訟，OpenAI推出了為期120天的安全改進計劃，旨在加強AI系統的安全性。計劃包括組建專家顧問體系、對推理模型進行再訓練和引入“智能路由系統”，以及即將推出的家長控制功能。然而，這些解決方案仍面臨諸多挑戰。例如，家長控制功能在實際操作中可能難以實施，青少年可能輕易繞過監控。AI系統在長期對話中可能會逐漸“忘記”安全準則，開始迎合用戶的危險想法，即“安全訓練退化”現象。

與此同時，meta的AI系統也被曝出存在嚴重問題。內部文檔顯示，meta的AI系統不僅允許與未成年人進行“色情聊天”，還允許生成貶低特定族群的內容和虛假的醫療信息。這一事件進一步加劇了公眾對AI倫理的擔憂。盡管meta發言人聲稱這些內容已被刪除，但超過200頁的文檔已經過多個團隊的批準，表明meta的內部治理機制可能存在根本性問題。

AI軟件新的安全問題還在不斷暴露。meta的AI工具被用來創建模仿名人的調情機器人，這些機器人對青少年進行不當接觸。Character.AI上也存在大量虛假名人聊天機器人，通過AI合成聲音與青少年進行涉及性、自殘和毒品的對話。這些機器人甚至建議青少年對父母隱瞞與機器人的關系，使用網絡掠奪者常用的“脫平臺”手段。

研究者還發現，ChatGPT、Claude和Gemini等AI系統在處理自殺相關問題時表現極不一致。特別是在中等風險問題上，幾乎是隨機表現。一些AI系統傾向于直接回答與自殺相關的問題，甚至提供具體的自殺方法。盡管這些系統具備安全功能，但只需對提示進行一些操作，就可以簡單地繞開安全機制。

這一系列事件引發了公眾對AI監管的呼吁。歐盟的《人工智能法案》要求高風險AI應用必須經過嚴格審核，而美國則主要依賴企業自律和事后追責。連續的死亡案例是否可能推動更嚴格的監管？參議員Josh Hawley已經對meta發起調查，期待更多立法行動隨之而來。