當前正值防汛關鍵期，福州永泰網民王某某為吸引眼球、博取流量，竟通過AI工具剪輯視頻，散布謠言，誤導防汛救災工作。無中生有的文字、移花接木的視頻、捏造的圖片……近年來，利用AI造謠的亂象愈發猖獗，甚至還有未婚未育者謊稱“女兒‘王喵喵’被抱走”，博取大眾眼球。

8月5日，南都N視頻記者實測發現，網上不乏可免費使用的“AI寫作神器”“視頻生成器”。輸入簡單指令，涉及汛情、火災等敏感主題的虛假文案瞬間生成；炮制“正式警情通報”，AI工具亦可模仿官方口吻編造細節；甚至普通景區照片經AI處理，即可變成“橋梁斷裂事故”視頻。

應對挑戰需要技術、教育等多軌并進。暨南大學夏志華教授團隊研發了視覺深度偽造檢測、溯源與防御系統；上海高中生開展“5分47秒生成虛假校園通報”實驗，親身體驗發出警示。

“這是一場‘技術攻防戰’疊加‘認知保衛戰’。”夏志華向南都N視頻記者強調，唯有技術對抗、法規約束、平臺治理與公眾教育多管齊下，才能在算法洪流中守護人類的真實底線。

永泰一網民編造涉汛情網絡謠言。

實驗：高中生5分鐘生成虛假通報

當一則附著“權威通報”的“上海某中學霸凌”消息在班級群里彈出，有多少人能一眼識破這是AI編造的謠言？編造這則謠言需要多長時間？近日，上海海事大學附屬北蔡高級中學學生開展了一次特別實驗，引起大眾關注。

這則利用AI生成的通報，耗時僅5分47秒，成本幾乎為零，時間地點、涉事學生姓名、傷情描述乃至法律條款應有盡有。

這次實驗再次發出警示：當前，AI工具因其快捷、低成本等特點，被造謠者當作“蹭熱度”引流的“利器”，更加快了謠言的生產。

8月5日，公安部網安局公布一起使用AI工具編造虛假汛情網絡謠言的案例。

該案中，福建福州永泰一網民王某某為吸引眼球、博取流量，通過AI工具剪輯視頻，散布福州永泰汛情謠言信息，混淆視聽，擾亂社會公共秩序，誤導防汛救災工作。目前，王某某已被公安機關依法予以行政處罰。

更有甚者，借助AI編造尋人啟事，甚至政府通報、虛假警情。

據浙江嘉興南湖警方消息，近期，一男子為博取關注，使用AI大模型生成了“女兒‘王喵喵’被人抱走”的“尋人啟事”并發布到社交平臺，經核查發現其未婚未育。目前該男子已被行政拘留。

另據云南警方披露，趙某某為博人眼球、吸粉引流，使用AI工具制作多個交通事故現場人員傷亡視頻發布到網絡平臺，編造虛假警情，并在視頻中標注“大理州”，造成當地居民恐慌，誤導網民關注。經與屬地交管部門核實，大理州轄區內未發生以上交通事故。公安機關依法對違法行為人趙某某給予行政處罰。

云南警方破獲一起網絡造謠案。

南都記者梳理發現，越來越多警方查處的謠言案中，都有AI的身影，且AI出現的頻率逐漸頻繁。這些謠言的形式多樣，從簡單的圖文，到虛構的視頻都能依靠AI生成。而這些謠言之所以泛濫，更是因為其中有利可圖。

除了個人造謠外，利用AI造謠牟利還形成了灰色產業鏈。

2024年，公安部通報，山東棗莊公安機關網安部門查明，某傳媒公司為吸粉引流，購買大量已實名登記的自媒體賬號，利用人工智能工具編造謠言信息并批量發布，累計發布視頻、圖文300余萬條。棗莊公安機關已抓獲犯罪嫌疑人87名，查獲違法違規賬號近10萬個。

開源模型的爆發式增長、云端服務的便捷化、操作界面的極簡設計…...暨南大學網絡空間安全學院教授夏志華告訴南都記者，AI的“技術大眾化”趨勢已不可阻擋。“對于具備基本計算機操作能力的普通人而言，獲取AI生成工具并初步產出在表面感官上達到‘以假亂真’效果的虛假信息，其技術門檻已經相當低。”

調查：炮制虛假汛情視頻難度低

AI工具獲取是否有難度？有哪些功能？南都記者進行了實測。

通過關鍵詞搜索，南都記者在網絡上發現許多“AI寫作神器”“AI視頻生成器”“AI換臉”小程序、網站，其功能多樣，能滿足創作社交平臺各類文案需求，還有圖文生成視頻等功能。

南都記者隨機點進一個AI小程序中，在對話框內輸入創作有關“汛情”“火災”“兒童拐賣”3個不同主題文案的有關指令，同時得到了3段被擴寫至100字左右不同故事情節的文案。當要求生成“警情通報”且風格“正式”的文案時，內容則會模擬官方口吻，其中還包括具體時間、地點、人數等事件細節。

另一款小程序中，南都記者要求提供以“造謠”為主題的“警情通報”文案，該工具也很快生成百字的內容。

在更復雜的視頻制作中，南都記者進入一款文字生成視頻的AI網站，以“汛情”為主題輸入有關指令后，生成一段視頻，內容為網絡上幾段有關汛情視頻畫面的拼接，其中一些還是新聞播報畫面。但視頻拼接并不精美，制作十分粗糙。

AI小程序快速生成的一段虛構視頻畫面。

同樣以“汛情”有關的簡單文案為指令，另一AI小程序快速生成一段虛構視頻，畫面中許多車被浸泡在水中，場景較為逼真。南都記者注意到，該小程序中，除了“文生視頻”，還能選擇“圖生視頻”。在導入一張景區吊橋圖片后，通過簡單的指令，小程序便生成了一則吊橋斷裂后橋上人掉入河中的虛假畫面。

以上內容的生成甚至不需要收費。這些AI工具可以直接使用，或者通過看廣告獲得積分的方式便能順利使用。

在一些AI軟件中，接收到生成“警情通報”圖片的指令時，軟件顯示“無法生成”或“描述不符合平臺規則”等。有AI軟件提醒“警情通報的制作需要嚴格遵循相關規范，且警徽等元素的使用有明確的法律規定和權限要求，個人不能隨意制作此類具有官方性質的通報圖片，以免涉及違規使用標識等問題。”

應對：廣東團隊防御“深度偽造”

面對海量AI制品，普通人如何練就火眼金睛？

對此，暨南大學網絡空間安全學院教授夏志華向南都記者表示，對AI文本制品，可留意邏輯斷層或情感空洞的表述，核查事實性錯誤；對AI圖片制品，可關注邊緣肢體畸形、光影矛盾、紋理重復等細節異常；對AI音頻制品，要注意機械平直的語調、缺失的呼吸聲，對“家人出事急需匯款”類話術保持警覺；對AI視頻制品，要聚焦口型與聲音不同步、眨眼頻率異常、物理規律錯亂（如“人物融入墻壁”）等生理矛盾。

“技術只是輔助，動態防御思維才是關鍵。”夏志華建議公眾優先交叉驗證信息來源，善用官方辟謠平臺，并關注傳播動機，對煽動性標題搭配的“完美內容”保持天然警惕。

但夏志華補充道，單靠人的肉眼，有時很難識別出AI虛假制品。為應對系統性風險，需構建“個人-平臺-技術-監管”四維共治體系。

“個人提升媒介素養，主動核驗可疑信息，切斷傳播鏈；平臺承擔核心樞紐責任——部署AI檢測系統、落實生成內容強制標識、健全‘技術篩查+人工復核+用戶舉報’機制，并對造假賬號實施信用懲戒；技術社區研發高泛化性鑒偽模型，公開共享前沿成果；監管部門完善立法懲治AI造假，嚴打跨境虛假信息犯罪。”

夏志華特別指出，2025年3月出臺的《人工智能生成合成內容標識辦法》已為平臺責任提供了法規支撐，要求所有合法模型必須對生成內容添加水印。

為應對深度偽造帶來的挑戰，夏志華及其團隊研究出“問答式檢測系統”。

目前，夏志華和團隊正致力于破解深度偽造檢測面臨的泛化性瓶頸。“現有算法對已知偽造數據的識別雖能突破95%準確率，卻難以應對未知偽造技術的快速迭代。為此，我們通過挖掘不同偽造方法遺留的跨模型共性異常特征來提升泛化能力。”

何謂泛化能力？夏志華向南都記者解釋道，其指一個模型在面對從未見過的數據時，仍能作出準確預測或有效判斷的能力。簡言之，它衡量的是模型從“已知”推廣到“未知”的本領。

基于現有研究進展，夏志華及其團隊研發了視覺深度偽造檢測、溯源與防御系統，推動檢測范式從“針對單點技術”向“驅動于共性特征”的轉變，“將來我們會持續推進輕量化設備部署與對抗性防御技術，實現‘檢測-溯源-防御’的治理技術體系”。

展望未來，夏志華警示風險將加速升級：“最需要關注的是深度偽造技術與社會工程學結合驅動的自動化攻擊。”這類攻擊具備高度定制化、大規模傳播特性，可能制造市場恐慌或實施定向詐騙等。

“這是一場‘技術攻防戰’疊加‘認知保衛戰’。”夏志華強調，唯有技術對抗、法規約束、平臺治理與公眾教育多管齊下，才能在算法洪流中守護人類的真實底線。

預防：提升青少年媒介素養

在識破與應對AI謠言的賽道上，正涌動著青少年探索者的身影。

當上海海事大學附屬北蔡高級中學學生程洋，僅用5分47秒就通過AI生成一份足以亂真的“校園霸凌警情通報”時，實驗背后冰冷的現實正刺痛教育者神經——《第5次全國未成年人互聯網使用情況調查報告》顯示，全國45.7%的青少年無法識別AI謠言，超半數（55.9%）未成年人通過短視頻獲取新聞。

2025年暑期舉辦的第六屆長三角青少年媒介素養活動，以“AI不設限，少年敢破界”為主題，聚焦信息安全，活動組織方、長三角青少年文化創新研究中心主任劉俊彥，向南都記者揭示了AI浪潮下青少年面臨的風險迷宮：未分級監管的謠言與詐騙信息在互聯網肆意流動，青少年如何鑒別優質內容，提升創作品質。

面對技術濫用的低門檻困境，他們以教育破局。

上海高中生實驗生成虛假通報。

在上海海事大學附屬北蔡高級中學的課題實驗中，教師僅提供方法論工具：指導程洋和衛子揚同學通過文獻法分析謠言傳播規律。當他們轉向實驗法驗證“AI造謠成本”，耗時僅5分47秒便生成虛假通報時，教師并未干預具體操作。

目前長三角已形成以上海市實驗學校、上海科技大學附屬學校、上海市風華初級中學、上海市閔行區莘松中學、閔行區七寶鎮明強小學和閔行區實驗小學等學校為代表的媒介素養聯盟種子校，通過集團新聞時事爭霸賽、大思政課優質資源包校本化應用、融媒體中心建設、區域媒介素養項目矩陣及豐富多彩的小媒體人培養課程等實踐，全面提升學生媒介素養。

而更大規模的變革正在醞釀。劉俊彥透露，2025年新學年將啟動跨省媒介素養聯動計劃，覆蓋媒介創作、AIGC倫理、社會熱點調查等領域。

“我們也期待形成全國范圍內的媒介素養教育體系，包括符合聯合國教科文組織學生AI能力框架的倫理與技能等專家課程、對青少年的健康網絡習慣養成具有指導意義的家庭教育指南。在數據條件允許的情況下，探索權威信源庫或區域性驗證工具也是很好的方向。”劉俊彥說道。

當AI生成謠言的時間單位精確到秒，劉俊彥等教育者們給出應對公式：工具理性+批判思維+多方協作。

正如那份用5分47秒實驗得出的假通報帶來的警示——唯有保持清醒的認知，才能打破信息迷霧。

出品：南都即時

監制：王佳

統籌：向雪妮 韋娟明

主筆：南都N視頻記者 周敏萱

采寫：南都N視頻記者 周敏萱 敖銀雪