文 | 趣解商業，作者 | 張語格

“去年國慶假期，有人過了7天假，被我整整罵了8天。”

近日，雷軍在兩會期間提到自己去年被網友用AI換臉、擬聲，做各類視頻的“嘴替”和“臉替”；雷軍直言，對于這些“盜版”雷軍，自己想通過法律維權，卻發現對此沒有專門的立法，只能用隱私權、肖像權、名譽權等法律起訴，而這些都要量化損失，因此深受其擾。

圖源：抖音截圖

如今社交平臺AI視頻屢見不鮮，由AI生成的真人形象已經到了以假亂真的程度，在各種各樣的“AI騙局”里，雷軍還不算最大的受害者；面對這些“AI真人”的誘導，照單全收的幾乎都是無防備心的中老年人。

01.“AI孫子”硬控老年人

“我奶奶沉迷抖音上的假孫子以后，我就失寵了。”陸俊（化名）的奶奶今年79歲，從春節開始每天都要看胖小孩短視頻，視頻里的胖小孩穿著小棉襖、小肚兜，每喊一句“奶奶”，陸俊的奶奶都會大笑起來。

仔細看視頻里的胖小孩，皮膚光滑到有些失真，背景局部模糊，手指長短和擺放位置也不自然，AI創作痕跡極重，是很多年輕人眼里的“一眼假”。

圖源：抖音截圖

然而，中老年人幾乎沒有識別AI創作的能力。陸俊不止一次提醒奶奶這是“假的”，是AI生成的，有些視頻下方會有AI創作的提示，但奶奶都不以為意。陸俊對此也十分無奈，“我第一次提醒奶奶的時候，她有點震驚，但之后還是繼續看，她并不在乎小孩是真的還是假的，只覺得能讓自己開心的就是好東西。”

“AI寶寶”，瞄準的是中老年群體被忽視的情感需求。有些網友甚至將AI寶寶當成了懷孕許愿池，希望自己的家人也能有一個視頻里這樣的寶寶，并紛紛在評論區留言“接寶寶”。

圖源：抖音截圖

如果單純只是把這當作消遣也無妨，令人擔心的是，這些AI形象說的話，家里老人全都信。劉然（化名）的外公經常往家族群里轉發一些養生專家的科普，有次劉然點開看才發現，外公嘴里的專家其實是AI創作的數字人。

劉然醫學專業畢業，今年已經是腎科博士學位在讀，但外公提到養生治病相關的話題還是會跟他抬杠。比起自己的親外孫，外公更相信短視頻里的數字人“專家”，即使這個賬號里的專家并沒有任何權威認證。

圖源：抖音截圖

在很多年輕人看來，家里長輩信任數字人和當初沉迷“反智營銷號”一樣令人費解。劉然對此非常無奈，外公當初也是讀過大學的，“網上所謂的‘老師’和‘專家’隨口說幾句，他們就覺得是真理，卻不愿意聽一聽身邊親人的實話。”

“趣解商業”觀察到，如今社交平臺上充斥著針對中老年群體的AI賬號，這些賬號的視頻內容，大多是由AI生成的真人形象，通過套近乎、講哲理等“話術”，吸引中老年人的關注和信任；有些AI賬號，已經靠這份“信任”通過櫥窗帶貨賺起了第一桶金。

圖源：視頻號截圖

例如上圖中的視頻號“·古元·”，瞄準的就是渴望關懷的高齡女性。視頻大多以“我的寶貝姐姐開頭”，發布的視頻大多圍繞老年女性的生活常態展開，“我發覺姐姐近來面容憔悴，弟弟跑了好多地方，找到這款面霜特別適合姐姐”，隨后引導用戶點擊主頁關注、下單。

雖然該賬號發布視頻數量不多，但櫥窗商品的銷量已突破三位數；評論區大多是對被視頻里“男人”溫柔話語打動的用戶。

圖源：視頻號截圖

事實上，養生、情感內容一直是“收割”老年人的重災區，被騙的人通常與受教育程度無關，而是沉迷視頻帶來的情緒價值。

據“藍鯨新聞”此前報道，收割老人的數字人視頻如今已經發展成一條灰色產業鏈。市面上涌現出制作數字人的外包公司，服務價格在5000-10000元不等。商家會幫助客戶搭建數字人形象，指導運營賬號。

很多AI賬號是利用老年人的同理心賣貨，但值得注意的是，隨著技術的快速迭代，針對中老年的AI換臉的詐騙案也開始頻繁出現。

兩會期間，除了雷軍吐槽自己被做成AI，政協委員靳東也提到了AI換臉的危害，他表示，一些喜歡我影視劇的觀眾，被AI換臉視頻騙得很慘。

圖源：視頻截圖

據“趣解商業”了解，去年，就曾有一位江西老人被換臉視頻蒙蔽，要貸款200萬給網戀男友“靳東”拍戲。

02.AI發展和治理“兩手抓”

人們警惕提高的速度，跟不上技術進步的速度；不僅老年人，有一定科技閱歷的年輕人也深受AI造假的迫害。

據《北京商報》報道，2024年2月有詐騙犯運用Deepfake 深度偽造技術，制作出公司高層發言視頻，誘導職員先后15次將2億港元轉至指定賬戶。

除此之外，還有用AI換臉真人制作色情影片、盜刷醫保的違法案例。

杭州曾有人通過AI換臉偽造女明星涉黃視頻，甚至還組建群聊，滿足定制換臉色情影片的需求，根據時長、視頻難度收取相應的費用，杭州蕭山檢察最終在該群內查獲的淫穢視頻高達1200余部。

圖源：央視新聞截圖

AI讓造假越來越容易。詐騙能根據后果量刑，但想要根除互聯網上AI虛假信息卻并不容易。

在去年底的西藏定日發生地震后，一張“小男孩被埋”的圖片在社交媒體上瘋狂流傳，但最后被證實是AI生成；今年1月洛杉磯爆發山火，好萊塢標志牌著火的照片，在國內外社交平臺上瘋傳，隨州這張照片也被官方媒體辟謠說是由AI偽造。令人憂慮的是，在官方辟謠定論之后，至今仍有不少網友將這些AI圖片當作真實照片。

圖源：微博截圖

無底線造假必然要付出代價。北京周泰律師事務所張子航律師表示，在公共事件中，故意歪曲事實，用AI或者其他技術手段制作圖片、視頻，并在社交平臺傳播造成負面影響的，首先要追究的是制作者的責任，制作者面臨的可能是行政責任，也可能是刑事責任。此外，發布虛假信息的社交平臺，也有可能要承擔法律責任。

“AI安全”同樣也是今年的兩會熱詞。全國政協委員、奇安信科技集團董事長齊向東提議，針對人工智能安全問題，要從技術保障、制度保障、成果應用三方面入手，系統提升安全能力。

全國政協委員、360集團創始人周鴻祎認為，傳統網絡安全的解題方法解決不了人工智能的安全問題。智能體的安全、知識數據的安全、客戶端的安全、基座模型的安全，構成人工智能安全的新領域。他建議，應由既懂安全又懂AI的企業牽頭，以模制模，通過打造安全大模型來解決大模型的應用安全問題。

圖源：微博截圖

如今，各平臺都在加強對AI內容的治理。抖音、視頻號、小紅書等都推出了針對AI治理的管理政策。“趣解商業”了解到，騰訊等互聯網公司已經在研究檢測AIGC的第三方工具，這些工具根據相似檢索、內容檢測和水印追溯等方法，支持文本、圖片等AI生成內容的檢測。

在頭部互聯網公司從事AI研究的Lisa表示，如今生成內容越來越逼真，真實圖片與生成圖片的特征差異越來越小，檢測工具的模型學習難度其實也在增加。

想要減少被AI蒙騙的發生，需要平臺監管、用戶意識提高以及相關法律法規完善等多方合力。

2024年9月14日，國家互聯網信息辦公室發布了《人工智能生成合成內容標識辦法（征求意見稿）》公開征求意見的通知，以規范人工智能生成合成內容標識，維護國家安全和社會公共利益，保護公民、法人和其他組織的合法權益。多項規定和監管政策的相繼落地，讓剛性治理有了更多具體的抓手。

新的技術進步呼吁新的監管體系，而這一點并不能完全指望科技商業公司的自我約束，需要監管方、平臺方的共同努力。盡管AI的應用范圍廣泛且難以限定，但法律和道德的邊界始終清晰；未來，政策監管和平臺審核的力度必然會更加深入，社交平臺上的內容生態還會因此發生哪些改變，值得進一步關注。