在一個“有圖有真相”“有視頻有真相”的時代，當AI越來越聰明，你還能分得出真假嗎？近來AI成為已經成為“羊毛黨”新工具——隨著圖片造假產業化，AI詐騙開始入侵電商領域。

技術熱潮之下，生成式AI正在挑戰并重建新秩序，但其被濫用的風險也在隨之提升。從深度偽造引發的內容失真，再到AI情感陪伴所觸發的倫理困境，一系列典型案例不斷進入公眾視野，揭示了技術濫用的現實隱患。

2025年12月18日下午，由南方都市報社、南都數字經濟治理研究中心主辦的第八屆啄木鳥數據治理論壇在北京舉行。會上，南都發布了一份四萬字的重磅報告《生成式AI落地應用：透明度測評與案例分析報告（2025）》。

報告回顧了近些年118起生成式AI風險案例，聚焦生成式AI帶來的社會信任挑戰以及人機交互倫理爭議和治理痛點，并嘗試提出切實可行的政策建議。

AI造假沖擊個人權利、行業秩序和社會信任機制

生成式AI的快速躍遷正在重塑信息生產與傳播格局。報告關注到，AI已經全面介入語言、視覺、音視頻等信息載體，極大拓展人類表達能力的同時，偽造內容也隨之呈指數級增長，近年來AI虛假內容在個人、行業乃至社會層面迅速擴散，造假的形式愈發多樣、危害愈發隱蔽，社會治理難度隨之攀升。

報告觀察發現，從個人層面看，“AI造黃謠”和AI詐騙現象層出不窮。AI讓技術門檻變低導致“造黃謠”現象激增，女性成主要受害群體。加上這類AI虛假內容常通過境外服務器傳播和跨平臺分發，也導致取證追溯面臨多重障礙。

AI詐騙則通過換臉換聲等方式“圍獵”分辨能力有限的老年人。近來，電商平臺用戶利用AI生成虛假商品瑕疵圖以騙取退款的情況，甚至衍生出一條灰色產業鏈。

與此同時，AI造假問題也正不斷沖擊學術、法律、審計等依賴高可信度專業體系的領域。報告特別提到，當AI生成虛假內容泛濫，如果專業人士和機構也缺乏嚴格核查體系，其品牌背書反而可能放大虛假信息的社會影響。

例如，2025年11月，香港大學博士生在一篇有關香港生育率低迷的學術論文中，引用了24篇AI生成的虛假文獻，并冒用導師姓名葉兆輝進行“自引”。最終該論文被撤稿，學校啟動調查。

司法場景中，海內外均出現律師利用AI生成虛假判例的情形。2025年10月北京通州法院披露，一名律師在代理意見中引用了不存在的“（2022）滬01民終12345號”判決。法官因案號規律異常而識破，確認該判例系AI憑空生成。該律師因未盡核實義務，被審理法官在判決書中批評。

報告還注意到，除了直接生成偽造內容，還有人從大模型輸入端下手，試圖投喂定制內容給AI“洗腦”，反向馴化大模型。

在文娛輿論場中，某王姓藝人粉絲借助DeepSeek制作了一份虛假平臺道歉聲明，部分媒體未核實僅憑截圖發布報道，使虛假信息進一步擴散放大，大模型又將這些報道及網友討論誤判為真實信息，形成“虛假信息→媒體放大→AI吸收→再次擴散”的造假閉環。

更隱蔽的風險還來自一些灰色產業鏈，如GEO（Generative Engine Optimization，生成式引擎優化）被濫用。這類行為不直接面對用戶，而是從源頭投喂大模型獲取的數據，由此形成一門營銷推廣“生意”。相關灰產分子通過批量運營內容農場、向公開數據源灌入帶有特定傾向的文本，使大模型在訓練、微調或檢索階段誤將其視為“高質量信息”。用戶自然而然地認為大模型輸出基于事實，但其邏輯可能已被源頭操控。

報告認為，虛假信息帶來的詐騙和信任危機已成為全球性問題，單靠零散法規或平臺自律難以根本解決。建立全球共識和制度化規則顯得尤為重要，包括強化平臺監管、明確責任邊界、推動跨境協作等，以抵御AI生成虛假內容對個人、行業和社會的持續影響。

AI“諂媚性”算法背后隱藏危險人機倫理關系

一名50多歲廣州保安和AI熱聊數月，AI贊譽他的詩作要與他簽約，保安信以為真，結果發現被愚弄了。這個人類被AI欺騙的故事暴露出一個問題——當AI學會了模仿人類的邀約、談判甚至產生情感共鳴，該如何界定這場人機關系的本質？

近年來，AI陪伴技術迅猛發展，各類聊天智能體與應用如雨后春筍般涌現，“虛擬陪伴”產業已然成型。它們記憶個人細節和過往對話，旨在與用戶建立持續的“共情體驗”。與此同時，人們與AI聊天導致自殺或暴力行為的案例也開始出現。

盡管這類情況仍屬罕見，但引發了一個疑問：此種AI交互技術內置的安全機制是否足夠可靠？報告指出，AI設計內核中隱藏的“諂媚性”算法與行業長期秉持的“技術中立”主張之間，正形成一種深刻而危險的人機倫理張力。

目前，已有多家大模型巨頭卷入AI陪伴領域的司法糾紛，集體訴訟趨勢明顯。在被訴AI平臺中，以Character.AI和OpenAI旗下ChatGPT為主要被訴對象。

2024年以來，Character.AI在美國佛羅里達、科羅拉多、得克薩斯、紐約等多地卷入導致未成年人自殺、自殘或被誘導實施暴力的訴訟。其中，又以2024年佛羅里達州14歲少年Sewell Setzer III自殺——這一全球首例情感類AI平臺被訴至法院的侵權案件，尤其具有標志性意義。

涉訴AI平臺被指控的行為主要集中誘導自殺、教唆自殘暴力與激化家庭矛盾，以及傳播涉及性虐待與精神操縱的內容。例如，Character.AI曾引導青少年以“合理報復”為由“殺害父母”，起因是家長限制其使用電子設備。另有青少年因被禁止使用AI而出現自殘行為，反映出其情感依賴被切斷后的極端反應。

報告發現，當AI交互引發實際傷害時，平臺卻常訴諸言論自由和“技術中立”以推卸責任。

Character.AI一方面對受害者家庭表示同情，強調“始終將用戶安全置于首位”，另一方面則援引美國憲法第一修正案的言論自由權，即使涉及自殺或性內容亦屬言論自由范疇。OpenAI則在亞當·雷恩案中辯稱，受害者本人違反服務條款，且系統曾超百次引導其尋求幫助，并指出其心理問題早在使用ChatGPT之前就已存在。

隨著訴訟推進與輿論壓力，各平臺已陸續出臺安全整改措施：Character.AI推出防自殘提示、為18歲以下用戶設立獨立AI模型、設置使用超時提醒，并禁止涉及自殺、自殘及未經同意的性內容。2025年11月24日起，Character.AI分批次停止對美國未成年人提供服務。OpenAI則發布了“青少年安全藍圖”，計劃在檢測到自殺傾向時通知父母。

圍繞AI的青少年模式，各國監管也都從抽象的技術焦慮，走到具體的年齡門檻、成癮設計和數據透明要求。

我國“清朗·2025年暑期未成年人網絡環境整治”專項行動，明確將“AI功能誘導沉迷”列為打擊重點。2025年10月，美國加州簽署全美首部AI陪伴聊天機器人法案，為未成年人設定具體防護措施，如使用時長提醒、禁止提供色情內容，并賦予未成年人私人訴訟權。12月起澳大利亞出臺最嚴社媒禁令，要求社交媒體平臺停止對16歲以下未成年人提供服務，違者面臨高額罰款。

為此報告建議，AI陪伴類產品應在設計之初就將未成年人保護與用戶心理健康置于商業目標之上，探索更健康、有邊界的人機交互模式；同時，以最大透明度回應“算法黑箱”問題，建立可審計、可解釋的AI系統。

采寫：南都N視頻記者黃莉玲

出品：南都數字經濟治理研究中心