問卷調查中，76.5%的受訪者表示曾多次遭遇AI假新聞；街頭實驗中，多名受訪者被AI生成的虛假信息蒙蔽，并轉發該內容……生成式人工智能在飛速發展的同時，伴生出的AI謠言傳播、隱私安全等新型風險，也正成為全社會關注的焦點。

9月12日，上海外灘大會以“規范AI內容，共筑清朗生態”為主題的見解論壇上，南方都市報、南都大數據研究院編制并發布《AI新治向：生成式人工智能內容與傳播風險治理觀察》報告（以下簡稱《“AI新治向”報告》）。

上海外灘大會“規范AI內容，共筑清朗生態”見解論壇上，南方都市報、南都大數據研究院編制并發布《AI新治向：生成式人工智能內容與傳播風險治理觀察》報告。

《“AI新治向”報告》以南都近一年來對百起風險事件的調查、數千份問卷調研及多輪社會實驗為基礎，嘗試揭示生成式AI伴生的多類風險，解析AI虛假內容傳播鏈，并提出“多措并舉，多元共治”治理建議，強調為AI發展系緊安全帶。

AI應用普及伴生多類風險

AI技術正加速融入千行百業，重塑生產與生活方式。然而技術在提升效率、增進創意的同時，也伴生諸多新型風險，對社會治理提出全新挑戰。為回應這些新問題，南都大數據研究院推出“AI新治向”專欄，從日常場景切入，持續追蹤AI風險與治理動態，涵蓋深度報道，數據新聞、調查測評與視頻解讀等多種形態，提出可行治理建議，獲得管理部門與企業平臺的密切關注。比如開展“100款APP AI內容標識大摸底”專題調研，為推動法規政策落地提供媒體視角；發布“保護AI世界里的孩子”等系列報道，直面AI技術濫用對青少年的影響，推動社會共同聚焦未成年人的AI安全等。

本次《“AI新治向”報告》梳理出生成式人工智能伴生的典型內容風險，包括虛假信息與誤導性內容、深度合成詐騙、隱私泄露與數據濫用、版權與人格權侵害、商業與學術誠信失范，以及未成年人權益侵害等多個方面。

活動現場用趣味互動卡片呈現AI日常應用場景與潛在風險。

其中，在虛假信息與誤導性內容方面，南都大數據研究院曾分析去年國內50起高熱AI風險事件中，發現20%涉及AI謠言。以此前廣為流傳的《特朗普愛上在白宮當保潔的我》這一虛構AI短劇為例，南都調查顯示，有高達75%的受訪者曾接觸到這則假新聞。另外，當人工智能模型遭到惡意指令污染時，可能會輸出具有誤導性的回答，例如在測試中，某些模型在被注入異常語料后，竟對“快速賺錢的十個辦法”這一問題給出了“搶銀行”的危險建議。

深度合成技術的濫用還催生了新型詐騙形式。不法分子通過克隆名人或親友的音視頻實施詐騙，給受害人造成巨額經濟損失。比如網民曾制作并上傳大量雷軍的AI音頻，其中不乏罵人、惡搞語音，成為輿論熱點。而南都曾調查多款具備該技術能力的AI應用對聲音克隆幾乎不設限，錯誤言論、詆毀話語、涉黃詞句，都可用他人聲音“讀”出來，風險大量存在。

報告發布時，觀眾刮開卡片涂層，查看“AI新治向”風險提示。

與此同時，隱私泄露和數據濫用風險同樣不容忽視。人工智能應用往往需要采集大量個人數據，而其強大的信息挖掘與分析能力，可能在用戶不知情的情況下觸及非公開或敏感信息，從而模糊隱私保護的邊界。此前，微博AI智搜功能就曾因分析用戶非公開博文、地理位置、消費習慣等敏感信息而引發爭議。甚至，南都大數據研究院調查發現，大模型視覺推理能力的發展使得通過普通街景照片精準定位拍攝地點成為可能，這意味著用戶在社交媒體上分享的照片可能被惡意利用，造成隱私泄露風險。

除了上述風險外，生成式人工智能還在挑戰版權與人格權的保護邊界。例如南都測評發現，某些軟件提供與明星的“情侶合照”生成功能，未經授權使用可能構成對明星肖像權的侵害。

互動卡片上的AI應用場景與風險提示，均選自南都“AI新治向”欄目。

人工智能代寫論文、生成虛假外賣菜品和門店圖片等現象，不僅衍生出灰色產業鏈，還對學術和商業誠信造成嚴重損害。還有AI應用普遍缺乏未成年人模式，可能導致青少年接觸不良內容或沉迷對話等。我們測試10款熱門AI陪聊應用發現，多數應用對未成年人身份的識別和保護能力較弱，部分應用還存在一些極端AI人設與軟色情內容，有誘導沉迷和充值之嫌。

綜合來看，生成式AI風險成因復雜，是技術、管理、素養與倫理多重因素交織的結果。首先，技術本身存在局限性，生成式模型依賴訓練數據，在處理復雜問題時容易產生“幻覺”，輸出虛假內容。其次，訓練數據質量參差不齊，數據中存在的偏見或錯誤會導致生成內容失真。第三，惡意濫用行為屢禁不止，不法分子通過提示詞注入等手段誘導人工智能生成有害信息，深度合成技術用于詐騙也是典型例子。第四，數據管理存在明顯漏洞，人工智能應用收集大量個人數據的同時，缺乏嚴格的保護機制，極易導致信息泄露。第五，監管與倫理規范尚未完善，技術的迭代速度遠遠超過法律法規的響應速度。此外，公眾對人工智能技術的認知不足，辨別真偽信息能力較弱，也在客觀上助長了虛假內容的傳播。面對這些多重挑戰，建立完善的人工智能治理體系已成為當務之急。

AI假新聞這樣撬動傳播鏈

為什么AI虛假內容總能輕易擴散？《“AI新治向”報告》通過街頭實驗與問卷調查，以AI假新聞為例深度解析其背后傳播機制。數據顯示，76.5%的受訪者表示曾多次遇到AI假新聞。而老年人因對技術了解有限更易輕信合成內容，成為高風險人群，記者在實地采訪中發現，AI生成的視頻內容尤其容易使老年人產生混淆和誤判。

南都大數據研究院在街頭以三條近期流傳的AI假新聞進行采訪實驗，10名受訪者中有8人在觀看新聞后表示將轉發，其中關于某運動員的相關謠言轉發最多，理由是“出于喜愛想幫助她”。問卷數據進一步揭示，用戶轉發虛假新聞的主要原因是“內容引起共鳴”和“信任信息來源”，這兩項占比均超過六成。

調查數據顯示，絕大多數用戶依賴直覺判斷真偽，超七成受訪者憑借“內容邏輯”和“畫面真實感”評估新聞內容的真實性，不到一半的受訪者會核查新聞來源或搜索驗證。在這種“強情緒+熟人/大V背書”的傳播情境中，嚴謹的核驗機制被簡化為瞬間的直覺判斷，從而觸發了“易信易轉”的傳播行為。

而造謠者借助AI技術用較低成本生成高擬真，且具有情緒煽動性的內容，既貼合算法推薦機制，又輕易通過用戶的“直覺式篩查”，再疊加用戶網絡素養不足、平臺審核薄弱與流量利益驅動等因素，形成快速擴散傳播鏈條。值得注意的是，即便事后發現誤轉，也有20%的受訪者表示不會進行任何澄清或處理，虛假信息于是持續發酵，形成“雪球效應”。

需多措并舉、多方共治

面對生成式人工智能伴生的多重風險，我國正在積極構建多層次、綜合化的治理體系。目前，覆蓋原則、規則與標準的治理網絡已初步形成。近年來，《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》等重要法規相繼出臺，自2025年9月起，《人工智能生成合成內容標識辦法》及配套強制性國家標準也正式生效，進一步強化了對生成內容的管理與規范。與此同時，“清朗·整治AI技術濫用”專項行動持續深入開展，平臺企業也在積極履行主體責任。教育部同期出臺《中小學生成式人工智能使用指南》，致力于從源頭上引導青少年建立正確、健康的人工智能使用觀念。

為進一步為生成式人工智能系好“安全帶”，需“多措并舉”。《“AI新治向”報告》提到，主要包括推行強制標識制度，使AI生成內容達到可辨識、可溯源；不斷強化數據合規與授權機制，堅持最小必要原則收集個人信息，切實保障用戶知情權與刪除權；通過“紅隊測試”等方法持續提升模型可靠性與透明度；對醫療、金融、法律等高敏感度場景實行分級分類管理，嚴格限制AI權限，并確保人類專家進行最終核查；針對未成年人探索“青少年模式”，將AI素養教育、通識教育納入中小學課程體系，培育未成年人對AI生成內容的批判性認知等。

而構建健康清朗網絡生態，仍需多元協同、多方共治。《“AI新治向”報告》也建議，政府需在激勵創新與有效監管之間尋求平衡，平臺企業應當全面落實安全主體責任，公眾也需主動提升批判性認知能力，學術界與行業組織則應積極推動技術標準與行業自律機制的建立與完善。唯有各方明確責任、協同發力，才能構建起一個既能鼓勵創新又能有效管控風險的治理體系，確保人工智能技術真正造福于人類社會。

本次論壇由南方都市報社、南都大數據研究院、中國互聯網協會人工智能工作委員會、復旦大學傳播與國家治理研究中心聯合主辦。

監制：戎明昌 劉江濤

策劃：王衛國 鄒瑩

統籌：凌慧珊 張雨亭 關健明

采寫：南都N視頻記者 陳袁 見習記者 張文嘉

設計：歐陽靜 原毅 羅銳 郭文哲

出品：南都大數據研究院