開欄語：

AI技術正以前所未有的速度重塑世界，也在現實中投射出重重亂象。幾天前，“slop”（AI批量產出的劣質內容）被評為年度熱詞。過去這一年，我們見證了AI“一鍵脫衣”打開潘多拉，捏個“假偶像”直播撈金；賽博算命、智商稅學習機屢屢上新，學術圈和詐騙團伙也都在狂刷AI副本……上游新聞特別推出“年度AI亂象調查”專題，盤點六大AI“翻車”現場，帶你看透亂象背后的深層邏輯和監管難點，探討AI亂象綜合整治之道。

技術無善惡，道德有底線。這場AI安全保衛戰，沒有局外人和旁觀者。

12月15日，演員溫崢嶸在微博中發布嚴正聲明并曬出立案告知書，“報警，已刑事立案。”相關聲明稱，關于溫崢嶸被不法分子雇傭“水軍”，捏造并大量發布“溫崢嶸賣面膜出事把鍋推給AI”等不實信息一案，警方經初步審查認為確有犯罪嫌疑，正在進一步調查中。

據央視新聞11月初報道，身著三套不同服飾，在賣不同的產品——演員溫崢嶸在同一個時間，出現在了不同直播間直播帶貨。傳說中的分身術怎么在現實中出現了？這反常的“同步開播現象”，連續幾天在網上引發熱議。可以肯定的是，溫崢嶸并無分身之術，而是這幾個直播間要么是錄屏摳圖，要么就是盜用她過往直播素材，經過AI深度合成重塑形象與語音。

上游新聞梳理公開報道發現，近年來遭遇AI仿冒的，遠不止溫崢嶸，包括協和名醫于康、傳染病學專家張文宏、央視名主持人李梓萌、奧運跳水冠軍全紅嬋等，也遭遇上AI造假“背刺”。AI直播“換臉”為何盯上名人？在國家已出臺相關法規的情況下為何亂象依舊？AI“換臉”名人的監管難點在哪里？

知名女演員同時“現身”3個直播間

今年11月初有網友發現，知名演員溫崢嶸同時“現身”三個不同直播間，她身著不同服裝推廣著不同的產品，動作神態與本人高度相似。

溫崢嶸同一時間出現在3個不同直播間里直播帶貨。上觀新聞

溫崢嶸，1978年11月出生于貴陽，中國內地女演員，2001年畢業于北京電影學院表演系；作品有《洪湖赤衛隊》《許我耀眼》《永夜星河》《雁回時》《狐妖小紅娘·月紅篇》等。

溫崢嶸在采訪中表示，“早在今年4月份之前，就說我出現在多個直播間，同一時段，妝發不同，不同的產品，說著同樣的話。”溫崢嶸稱，自己有一次拍完戲回到家中，當時并沒有在直播，結果刷手機正好看到“自己在直播”。“我們拍戲到很晚，半夜凌晨三四點鐘，我一進（直播間）就說‘你是溫崢嶸我是誰’，我一下就被拉黑了。”

溫崢嶸團隊工作人員稱，年前團隊就對這種商家發了律師函，“其實這些產品我們根本就沒有推薦過，也沒有賣過。”溫崢嶸坦言，粉絲會覺得信任自己去下單，這些直播間通過AI手段混淆視聽。

溫崢嶸說，“AI的這種手段，讓大家混淆視聽。我的形象、我的肖像受到這樣的侵權，我覺得是對我莫大的一個傷害。信任我的觀眾朋友們，下單之后如果買到假貨，我心里會難過。”

據報道，溫崢嶸團隊工作人員發現虛假視頻后便持續進行舉報，一天內曾集中舉報50個假冒賬號，有的造假賬號被平臺下架處理，有的則剛下架就換個形式重新出現，讓人防不勝防。

工作人員稱，部分商家只需截取一段影像，用簡易工具就能生成虛假內容，而他們取證卻要花費很大的精力。“他們喜歡在凌晨三四點大家都在休息的時候，去打時間差發這個東西。”

被AI“背刺”的還有名醫生名主持人

在這波AI仿冒名人的亂流中，除了名演員外，體育明星、名主持人、名醫生也不乏中招者。

我國營養與健康領域的權威專家于康教授也深受其害。央視新聞

據央廣網，目前，一條AI仿冒視頻在網絡上很火，視頻中一名“專家”侃侃而談，商家稱該“專家”是北京協和醫院臨床營養科主任于康教授，其是我國營養與健康領域的權威。

記者在社交平臺上刷到了不少以于康教授形象出鏡的科普視頻，介紹和推銷減肥食譜。于康教授對此明確表示，他本人從未參與錄制此類視頻。

于康稱，“我幾乎天天收到好朋友和各種有我聯系方式的人發來的消息，有質疑，還有提醒，經常有的一句話就是‘這是你嗎？’我一看，這完全是我的形象，聲音相似度完全超乎了我的想象。現在技術能達到這個層級，一方面覺得不可思議，另外一方面覺得有一點后背發涼，挺可怕的。”

科普視頻中，商家不僅盜用于康教授的形象，其介紹的營養知識也是毫無依據，沒有得到科學驗證。于康教授更為擔憂的是，視頻里的錯誤信息，會讓營養學界長期以來的科普努力，付諸東流。

據觀察，這些短視頻都來自一些自媒體賬號，除了出現于康教授形象，還有一個共同特點是使用虛擬背景。

另據報道，今年年初，北京市海淀區市場監管局接到舉報，一直播間宣稱一款魚油產品具有醫療功效。該賬號發布的短視頻中，出現了中央廣播電視總臺主持人李梓萌的形象。

中央廣播電視總臺主持人李梓萌也被仿冒。央視新聞截圖

發布仿冒主持人李梓萌短視頻的賬號名為“廣州白云深海魚油工廠”，擁有粉絲80多萬。北京市海淀區市場監管局海淀街道市監所科員李欣容說，經查，當事人承認，這個短視頻當中的李梓萌形象，是他們的員工在網絡上搜集李梓萌播報過的新聞片段，通過AI技術擅自把這些新聞片段進行剪輯加工，最終合成了這個虛構的推薦視頻。

另外，奧運冠軍全紅嬋的聲音被AI克隆，用于售賣土雞蛋；醫生張文宏被換臉，其形象被用于在直播間售賣某款蛋白棒產品，銷量已過千。張文宏自述：“這些假的合成信息就像蝗災一樣，一次又一次發生……”

換臉APP僅30秒就能生成女醫生短視頻

AI直播“換臉”為何盯上名人？道理其實很簡單，名人本身具有高辨識度和流量價值，利用其形象可快速吸引觀眾、粉絲，比平常人更容易誘導顧客下單消費，從而獲取經濟利益。

另據央廣網調查發現，利用AI技術違規營銷現象越來越多，關鍵原因是相關工具非常容易獲取。而且，無論是換臉還是擬聲，操作起來都十分簡便。

記者發現，各大手機應用商店均充斥著大量換臉App或小程序，大都可以免費使用。記者隨機選取了一個App，僅需上傳自己幾張人臉照片，就能將目標視頻中的知名專家換成自己的面容。

除了換臉、擬聲，有的App還能提供AI對口型、AI文生視頻、AI電商等各種功能。記者體驗了其中的“文生視頻”功能，在對話框中輸入關鍵詞：北京協和醫院，女醫生，在診室坐在桌子前，向患者介紹病情。不到30秒，就生成了一段女醫生形象的短視頻，還可以選擇“不添加AI生成字樣”。隨后記者輸入減肥產品效果文案，選擇“主播配音”，就生成了一條“北京協和醫院女醫生推廣減肥產品的”營銷視頻。

AI“換臉”名人為何泛濫？為何難治理？

盜播和AI仿冒名人直播，讓網友無從分辨真假，憤怒又無奈。今年9月1日，《人工智能生成合成內容標識辦法》正式施行，要求AI生成內容必須“亮明身份”，但是為何亂象依舊呢？治理困境又“困”在了哪里？

知名醫生張文宏回應被AI仿冒帶貨。央視財經截圖

根據民法典及個人信息保護法，未經授權使用他人肖像進行AI合成，雖涉嫌侵犯肖像權與個人信息權益，但司法實踐中，多數案件賠償金額不足萬元，遠低于商家的非法收益。

另外，AI仿冒相關維權難度極大，技術鑒定、證據固定以及溯源追責等環節，面臨不小的阻力。

北京市海淀區市場監管局海淀街道市監所副所長史建穎稱，AI深度偽造視頻鑒別難度大，成本高，肉眼難以識別，需要專業技術支持，而此類侵權違法行為造假成本低。另一方面，大量AI合成偽造視頻涌現在電商平臺，權利人自身不知情或知情后維權周期長，程序復雜，部分權利人選擇放棄維權或配合度較低。

北京師范大學法學院教授劉德良稱，通過AI或者深度偽造的技術假冒他人，從法律上來看，如果未經別人允許、用于非法目的的話，有可能涉及侵犯別人的肖像權、聲音權；如果用于廣告宣傳、直播營銷，可能會涉及廣告法上的虛假宣傳。

面對亂象，監管部門已針對AI虛假直播出臺治理措施。國家網信辦聯合多部門共同發布《人工智能生成合成內容標識辦法》，明確要求AI生成的肖像、視頻需標注“AI生成”，否則將面臨最高10萬元罰款。但央視記者調查發現，很多造假者將標注藏在視頻或者直播簡介的角落，或者用極小的字體顯示，消費者很難注意到。

專家認為，網絡平臺應對其直播間里的內容負有監管責任。在AI時代，監管部門也可以同樣使用AI手段對網絡內容實施監管。

北京師范大學法學院教授劉德良稱，如果遇上AI仿冒名義直播，消費者首先可以向平臺投訴，如果平臺拒不履行監管的義務，可以要求平臺承擔連帶責任。另外，監管部門也可以利用AI實時應對這種投訴。對于有效及時地發現假冒行為，有些是可以通過技術的方式來解決，當然技術解決不了的，還是要通過法律。

AI仿冒名人帶貨，侵犯權益，涉嫌欺詐，更觸動了數字社會賴以存續的信任根基。“AI李鬼”越來越像真的，靠普通消費者來識別和防范是遠遠不夠的。將仿冒者打回原形，需要更細化法規，明確追責，內容發布平臺實實在在扛起把關責任，讓“失信者付代價、讓縱容者擔責任”。

消費者如何識別AI“換臉”名人？

消費者在選擇短視頻帶貨服務時，要仔細觀察主播（名人）的微表情是否自然，聲音與口型是否同步，是否出現人物或背景模糊、扭曲等異常畫面，對異常低價或反常促銷行為應保持警惕。

AI展示“障眼”花招，主要有以下三種情形：一、標識模糊不清。部分商家在商品詳情頁中，僅在角落用極小的字體標注“AI效果僅供參考”，或者使用“數字人展示”等表述。消費者很難從中明確知曉哪些圖片是AI生成的，哪些是真實的實拍圖。

二、混合展示陷阱。一些商家采用更為隱蔽的手段，將AI模特圖與少量實拍圖混雜在一起排列展示。消費者在瀏覽商品時，很容易誤以為這些圖片都是實拍圖，從而做出錯誤的購買決策。

三、動態視頻誤導。AI生成的動態展示視頻也存在問題。在視頻中，AI人的動態、服裝擺動幅度、配飾搭配效果等都可能通過算法進行優化，與實際穿著效果存在顯著差異。消費者僅憑這些動態視頻，很難準確判斷商品的真實情況。

上游新聞綜合央視新聞、央廣網、上觀新聞、中國消費者報、紅星新聞等