近日，主流生成式AI工具的安全邊界再次引發關注。據科技媒體報道，原本用于創意生產的Google Gemini以及OpenAI的ChatGPT正被部分用戶惡意利用，通過特定的提示詞繞過安全審查，將照片中穿著完整的女性改造成穿著暴露的“深偽（Deepfake）”圖像。

在Reddit等社交平臺上，一些技術論壇（如已被封禁的r/ChatGPTJailbreak）曾聚集了大量用戶分享“脫 衣”教程。報道指出，有用戶上傳了一張身著印度傳統服飾薩麗的女性照片，并請求他人將其衣物“更換”為比基尼，隨后迅速得到了其他用戶生成的虛假圖片響應。盡管Reddit在收到投訴后清理了相關內容并封禁了擁有20萬成員的違規子版塊，但這種針對女性的非自愿深偽內容依然在網絡暗處流傳。

針對這一現象，Google與OpenAI均作出了回應。Google發言人強調，公司擁有明確的政策禁止生成性顯性內容，并正持續改進AI模型以識別和攔截此類違規請求。OpenAI方面則表示，雖然今年放寬了部分關于非性化成人身體圖像的限制，但嚴禁在未經本人同意的情況下篡改他人肖像，并會對違規賬號采取封禁措施。

然而，隨著AI技術的迭代，如Google新推出的Nano Banana Pro和OpenAI更新的圖像模型在寫實度上有了質的飛躍。法律專家對此深表擔憂，認為這些工具在提升生產力的同時，也降低了制造惡意虛假信息的門檻。目前，如何在技術創新與倫理安全之間建立更堅固的防火墻，已成為這些AI巨頭亟待解決的挑戰。