上傳視頻、聲音、文案和背景，短短一分鐘，上游新聞（報料郵箱：cnshangyou@163.com）記者就通過購買到的AI數字人視頻軟件，制作出一段明星推薦產品好用的視頻，得到好評后還獲得了該軟件的永久使用權。而購買該軟件，僅需16.8元。

今年11月底，山東一法院判決了一起AI換臉詐騙案，被告人通過AI換臉偽造白富美形象詐騙13萬元。案件公布后，AI換臉、數字人制作侵權等現象再次引發關注。連日來，上游新聞記者調查發現，AI技術存在被濫用，無論明星還是普通人，均無法幸免。

記者隨機下載視頻通過AI數字人軟件，一分鐘就能實現換背景、換文案的效果。圖片來源/視頻截圖

AI軟件生成代言視頻只需16.8元

你是溫崢嶸，那我是誰？今年11月，演員溫崢嶸自曝有一次拍完戲回到家中，刷手機正好看到“自己在直播”。“我們拍戲到很晚，凌晨三四點鐘，我一進（直播間）就說‘你是溫崢嶸我是誰’，我一下就被拉黑了。”在接受媒體采訪時，溫崢嶸團隊工作人員稱，年前團隊就對這種商家發了律師函，“其實這些產品我們根本就沒有推薦過，也沒有賣過。”

上游新聞記者注意到，在社交及短視頻平臺上，這樣的視頻比比皆是。一款水散粉推薦視頻，先后有超過3位知名女星為其代言，而相同內容的產品推薦視頻，還出現在包括護膚品、彩妝、減肥保健品等多款產品的推銷視頻中。

這樣的視頻是怎么生成的？上游新聞記者通過搜索“AI形象”、“數字人”等關鍵詞后，僅淘寶網上就有超百個店鋪，不僅可以購買到制作軟件，還能提供素材直接下單定制直播或視頻專用的數字人形象，價格從十幾元到上千元不等。

記者下單購買了一款價格為16.8元的AI數字人視頻生成軟件，店家發送了一個需要通過瀏覽器下載安裝的應用包；在安裝過程中，手機系統提示該軟件存在風險。安裝成功后，記者又上傳了隨機在短視頻平臺下載的某知名女星參加官方活動時發布的采訪視頻，并根據軟件提示截取了女星的部分聲音。添加“這款產品不錯，值得推薦”的文案并更換背景后，短短一分鐘，就生成了一段該明星的代言視頻。視頻中，明星嘴型和文案內容基本吻合，但清晰度不高。

記者從另一家形象制作店鋪下單時，商家要求添加其客服企業微信，并組建了群聊。根據店鋪技術人員要求，記者同樣上傳了該女星的圖片、音頻和文案。支付135元后，技術人員很快就發來了一段AI數字人產品推薦視頻。該店鋪在明知上傳視頻非下單者本人的情況下，全程未詢問用途也并未詢問是否取得過該女星的授權。

兩段代言視頻制作完成后，多名該女星的粉絲向記者表示，如果不看原視頻和圖片，生成的視頻幾乎可以假亂真。隨后，上游新聞記者又上傳了多段記者本人視頻及圖片，添加求助內容的文案并生成AI數字人視頻。記者將其發送給親屬、朋友等，得到的反饋大多為“如果不事先知道，肯定就被騙了”。

購物網站上有大量此類店鋪，無需審核就能生成數字人。圖片來源/網頁截圖

低俗文案無審核，不少網店還做軟件代理

被“AI數字人”侵權的，不僅是流量明星，普通人也不能幸免。

此前有媒體報道稱，今年8月，電子科技大學人工智能專業研究生校外導師高某收到一條詐騙短信，里面是一段利用AI換臉技術篡改過的酒店房間內的不雅視頻，被換臉的正是他自己；10月10日，青島保時捷中心女銷冠牟女士也通過社媒稱，近期發現由AI惡意合成的虛假視頻以及與其面部側臉局部相似的不良視頻，對其進行誹謗和侮辱。

上游新聞記者在多個社交平臺看到，輸入“AI寫真”“AI誘惑”等關鍵詞，就能搜索出不少AI生成的明星和普通人的露骨寫真。還可以通過短視頻中的小程序鏈接，上傳圖片生成“AI黑紗私房照”“拳擊教練虐腹少女”等擦邊視頻。記者還注意到，在通過“AI”誘惑關鍵詞搜索出的主播中，大部分主播發布的視頻都是尺度較大的低胸裝、緊身衣等AI女性視頻，點贊過萬的視頻屢見不鮮。

此外，部分平臺上甚至還能找到指導用戶制作并利用“AI”內容起號和變現的教程，以及軟件代理鏈接。有教材發布者稱通過AI生成浴室跳舞、沙灘跳舞并帶上相關話題標簽，很快就能獲得流量。“流量來了，櫥窗帶貨自然就來了。”有教程發布者稱。

在AI數字人流量的帶動下，還有博主做起了代理生意。一名直播軟件和AI數字人制作商介紹，目前很多店鋪都在做生成軟件代理。一邊制作AI數字人，一邊銷售制作軟件。據該制造商發來的軟件簡介顯示，在其銷售的軟件中上傳一段30秒的視頻和聲音，添加文案后就可以生成高還原度的AI數字人主播；開啟知識功能后，還能實現AI數字人在直播間與粉絲互動。“直播系統是上傳一個形象，之后輸入文案就可以一直說直播間內容。明星AI數字人就是起到引流的作用。軟件制作的AI數字人視頻清晰度很高，直播肯定夠用。不需要后期系統維護。只要把軟件和密鑰賣出去就行。”該經銷商表示，代理的費用是9800元一年，可以提供30個賬號的密鑰，視頻及數字人制作不限次數。如果對外銷售的話，就是一個賬號1500元/年。

當上游新聞記者問及如果用戶上傳了未經授權的視頻會不會出現侵權問題時，該經銷商稱，都是直播間賬號操控人的問題；同時也坦言，授權后由用戶自行操作，后臺和系統沒有審核功能。

多重法律規范下，短視頻平臺上此類視頻仍屢見不鮮。圖片來源/軟件截圖

多重監管才能讓AI守住底線

在各類AI數字人生成軟件泛濫的背景下，隨之而來的不僅是侵權行為的頻頻發生，由此引發的違法行為也正在為行業敲響警鐘。

據人民法院報報道，近日，山東省寧陽縣人民法院審結一起利用AI換臉、語音合成等技術，以網戀為名實施的詐騙案。孫某在網絡游戲中結識李某后，虛構“白富美”人設，通過偽造身份證件、利用虛擬人臉技術與李某視頻聊天，成功騙取李某信任并與其確立戀愛關系。自2024年11月起，孫某虛構各種事由向李某索取錢財，并使用錄音合成軟件制作虛假對話，謊稱將獲得巨額拆遷款，誘使李某多次轉賬并為其購買高端手機，詐騙金額累計近13萬元，財物得手后孫某失聯。法院審理后認為，被告人孫某以非法占有為目的，利用AI換臉、語音合成等新技術手段，虛構事實、隱瞞真相，騙取他人財物，數額巨大，其行為構成詐騙罪。最終法院作出孫某犯詐騙罪，判處有期徒刑三年、緩刑四年，并處罰金2萬元的判決。

實際上，在規范AI生成內容上，我國已有多部法律法規做出要求。《中華人民共和國網絡安全法》和《生成式人工智能服務管理暫行辦法》中提到，內容涉及個人信息的，要履行個人信息保護義務。提供者應當按照相關要求對圖片、視頻等生成內容進行標識。提供者發現違法內容的，應當及時采取停止生成、停止傳輸、消除等處置措施，采取模型優化訓練等措施進行整改，并向有關主管部門報告。9月1日起施行的《人工智能生成合成內容標識辦法》則強調，任何組織和個人不得惡意刪除、篡改、偽造、隱匿生成合成內容標識，不得通過不正當標識手段損害他人合法權益。

此前的2023年9月，最高人民法院、最高人民檢察院、公安部聯合發布的《關于依法懲治網絡暴力違法犯罪的指導意見》中提到，編造“涉性”話題侵害他人人格尊嚴，利用“深度合成”等生成式人工智能技術發布違法信息，以及網絡服務提供者發起、組織網絡暴力等情形的，要依法從重處罰。

制作形象的同時，還可以設置在直播間與粉絲互動。圖片來源/受訪者供圖

為何在法律框架下，違規生成、使用他人“AI形象”的情況依然屢見不鮮，又將如何破局？

北京社科院副研究員王鵬在接受上游新聞記者采訪時表示，AI換臉詐騙與冒充現象，凸顯出技術濫用的嚴峻風險，已形成集技術偽造、非法交易、詐騙實施于一體的黑色產業鏈。要想破局需要從法律、技術、監管、公眾意識四方面協同治理。

在法律層面，需完善針對深度偽造技術的專項立法，明確技術使用的合法邊界與侵權責任，對非法獲取數據、未經授權生成仿真形象、利用偽造內容實施詐騙等行為構建全鏈條追責體系，提升違法成本。在技術層面，則應推動AI檢測與身份核驗技術的迭代升級。一方面，研發高精度AI生成內容識別工具，通過生物特征動態分析、環境邏輯校驗等技術手段，快速甄別虛假音視頻；另一方面，強化平臺身份認證機制，采用多模態生物識別、區塊鏈存證等技術，確保用戶身份真實可信。在監管層面，需建立跨部門協同治理機制。網信、公安、市場監管等部門應聯合開展專項整治行動，重點打擊AI換臉軟件非法交易、偽造證件服務等灰色產業，同時壓實平臺主體責任，要求其完善內容審核規則，對疑似偽造內容實施標簽化警示或下架處理。在公眾意識層面，需加強社會教育引導。通過案例警示、技術科普等方式，提升公眾對AI偽造技術的辨識能力，強化個人信息保護意識，倡導“不輕信、不傳播、不參與”的防范原則，形成全社會共同抵制技術濫用的氛圍。

對此，相關軟件銷售者和發布平臺，是否也應對侵權行為承擔相應責任？河南澤槿律師事務所主任付建認為，根據《互聯網信息服務深度合成管理規定》，這類服務商需落實信息安全主體責任，任何組織和個人不得利用深度合成服務制作、復制、發布、傳播法律、行政法規禁止的信息，不得利用深度合成服務從事危害國家安全和利益、損害國家形象、侵害社會公共利益、擾亂經濟和社會秩序、侵犯他人合法權益等法律、行政法規禁止的活動。市面上很多商家無需授權就能制作任何人的換臉視頻，還不做標識，明顯違反該規定。網信等部門可責令其整改、暫停服務。如平臺發現疑似AI生成內容未檢測或者提示用戶可能有詐騙風險的，或者經用戶舉報投訴后未處理的，同樣屬于未完全履行審查義務，對于損失擴大部分承擔相應民事賠償責任，也可能面臨警告、罰款等行政處罰。若明知用戶買軟件、做換臉視頻是為了詐騙、制作淫穢內容等，仍售賣軟件或提供制作服務，嚴重的會構成幫助信息網絡犯罪活動罪，需承擔刑事責任。要是軟件使用者自身利用業務制作傳播淫穢換臉視頻牟利，還可能觸犯制作、傳播淫穢物品牟利罪。

上游新聞記者時婷婷