開欄語：

AI技術(shù)正以前所未有的速度重塑世界，也在現(xiàn)實中投射出重重亂象。幾天前，“slop”（AI批量產(chǎn)出的劣質(zhì)內(nèi)容）被評為年度熱詞。過去這一年，我們見證了AI“一鍵脫衣”打開潘多拉，捏個“假偶像”直播撈金；賽博算命、智商稅學(xué)習(xí)機屢屢上新，學(xué)術(shù)圈和詐騙團伙也都在狂刷AI副本……上游新聞特別推出“年度AI亂象調(diào)查”專題，盤點六大AI“翻車”現(xiàn)場，帶你看透亂象背后的深層邏輯和監(jiān)管難點，探討AI亂象綜合整治之道。

技術(shù)無善惡，道德有底線。這場AI安全保衛(wèi)戰(zhàn)，沒有局外人和旁觀者。

2025年，AI技術(shù)以驚人速度滲透到社會生活的方方面面，從“一鍵脫衣”到“AI論文”，從“偽人帶貨”到“擬聲詐騙”，各種AI亂象層出不窮，映射出技術(shù)快速發(fā)展引發(fā)的深層問題。面對這一現(xiàn)狀，近日，上游新聞（報料郵箱baoliaosy@163.com）記者采訪了重慶大學(xué)大數(shù)據(jù)與軟件學(xué)院博士生導(dǎo)師黃晟教授，他從多個維度系統(tǒng)提出了自己的治理建議。

源頭治理：法律、模型、數(shù)據(jù)三管齊下

黃晟教授認為，在源頭治理上，應(yīng)從法律、模型、數(shù)據(jù)三個層面遏制AI技術(shù)造惡。

9月1日起，國家網(wǎng)信辦等4部門聯(lián)合發(fā)布的《人工智能生成合成內(nèi)容標識辦法》正式施行，要求所有AI生成的文字、圖片、視頻等內(nèi)容必須“亮明身份”，防止虛假信息傳播。

黃晟表示，在法律層面，關(guān)鍵在于壓實技術(shù)提供者的主體責任。必須嚴格執(zhí)行《人工智能生成合成內(nèi)容標識辦法》，要求所有AI生成的圖片、音頻、視頻等合成內(nèi)容，均嵌入不可移除的顯性標識和隱式標識（數(shù)字水印）。這不僅有助于公眾識別內(nèi)容來源，更能為公安機關(guān)偵查取證和司法機關(guān)追究責任提供可靠的技術(shù)依據(jù)。

廣州一名年輕女子乘坐地鐵時，照片遭“一鍵去衣”。據(jù)澎湃新聞

在模型層面，黃晟表示，服務(wù)提供者須確保模型在上線前通過安全與倫理評估，尤其對支持人臉合成、語音克隆、開放域文本生成等高風(fēng)險功能的系統(tǒng)，應(yīng)將其活體檢測、聲紋驗證、敏感內(nèi)容過濾及生成水印等防濫用機制作為模型內(nèi)建能力予以實現(xiàn)和驗證。

在數(shù)據(jù)層面，訓(xùn)練數(shù)據(jù)必須合法合規(guī)，嚴禁使用未經(jīng)許可的版權(quán)作品或未經(jīng)授權(quán)的個人隱私數(shù)據(jù)進行模型訓(xùn)練。同時，應(yīng)建立嚴格的內(nèi)容審核機制，全面篩查并剔除包含違法不良信息，如涉黃、暴力恐怖、電信詐騙等內(nèi)容，以及具有歧視性或偏見性的數(shù)據(jù)，防止模型因訓(xùn)練數(shù)據(jù)污染而生成有害、違法或違背社會公序良俗的內(nèi)容。

“數(shù)據(jù)是AI的‘食物’，若輸入的是盜版素材、隱私信息或違法內(nèi)容，模型便難免‘習(xí)得’偏差甚至惡意。”黃晟表示，必須從源頭守住數(shù)據(jù)合法合規(guī)的底線，杜絕偏見與違法內(nèi)容進入訓(xùn)練集。

倫理邊界：從口號到可執(zhí)行標準

黃晟教授強調(diào)，AI倫理不能只停留在口號或原則層面，必須轉(zhuǎn)化為可量化、可執(zhí)行、可驗證的技術(shù)標準與制度安排。

“作為一名AI技術(shù)從業(yè)者，我建議，首先是制定AI倫理‘負面清單’。”黃晟表示，應(yīng)明確禁止將人工智能技術(shù)用于高風(fēng)險、高危害場景，例如利用深度偽造技術(shù)實施詐騙或誹謗、生成傳播色情暴力內(nèi)容、批量偽造學(xué)術(shù)論文或考試答案，以及針對未成年人進行誘導(dǎo)性營銷或行為操控等。

黃晟強調(diào)：“這份清單不應(yīng)只是道德倡導(dǎo)，應(yīng)成為模型設(shè)計、產(chǎn)品上線和平臺審核的硬性約束條件。”

央視曝光博主利用AI仿冒奧運冠軍全紅嬋聲音帶貨土雞蛋的視頻。網(wǎng)絡(luò)圖

“其次是推廣‘可解釋AI’。”黃晟表示，在司法、教育等關(guān)乎人身權(quán)益的關(guān)鍵領(lǐng)域，系統(tǒng)應(yīng)能清晰說明“為何做出此判斷”，“這些場景中的算法決策直接影響人的健康、自由與發(fā)展，絕不能是‘黑箱’。”

“比如司法輔助系統(tǒng)展示量刑參考因素，教育推薦引擎揭示內(nèi)容篩選邏輯。只有做到過程透明、依據(jù)可查、結(jié)果可復(fù)核，才能真正建立公眾信任。”黃晟說。

“最后是將AI素養(yǎng)納入國民基礎(chǔ)教育體系。面對AI生成內(nèi)容日益逼真、信息污染無處不在的現(xiàn)實，下一代必須具備基本的數(shù)字辨識能力。”黃晟建議，在中小學(xué)課程中融入AI素養(yǎng)教育，通過案例教學(xué)、互動實驗等方式，教會學(xué)生識別深度偽造視頻、質(zhì)疑AI生成信息、理解算法偏見，并在此基礎(chǔ)上培養(yǎng)獨立思考與批判性思維。

監(jiān)管轉(zhuǎn)型：從“事后追責”到“技術(shù)前置”

10月16日人民日報發(fā)表評論《人工智能監(jiān)管應(yīng)因時而變》，文中稱，近年來，《中華人民共和國網(wǎng)絡(luò)安全法》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》《人工智能生成合成內(nèi)容標識辦法》等法律法規(guī)的出臺，為人工智能的有效監(jiān)管奠定了基礎(chǔ)。然而，技術(shù)發(fā)展日新月異，規(guī)則具有滯后性，二者不可避免存在時間差。

“進一步健全法律體系，其關(guān)鍵在于讓規(guī)則具備技術(shù)可執(zhí)行性。”黃晟認為，當前監(jiān)管偏重“事后追責”，“但AI濫用往往是‘秒級生成、分鐘傳播’，等發(fā)現(xiàn)時危害已擴散，監(jiān)管部門更應(yīng)推動技術(shù)前置治理。”

黃晟建議，監(jiān)管部門可以重點關(guān)注三方面：一是強制高風(fēng)險AI服務(wù)開放安全接口，比如要求換臉、擬聲類模型必須提供“內(nèi)容真實性驗證API（應(yīng)用程序接口）”，供平臺或警方快速核驗是否為合成內(nèi)容。

民警將正欲出門向詐騙人員交付現(xiàn)金的老人攔下。四川公安公眾號視頻截圖

二是建立AI模型備案與檢測標準。參考APP備案，對具備深度合成能力的模型，要求提交安全測試報告，如活體檢測通過率、敏感詞攔截率等指標，并允許第三方用標準數(shù)據(jù)集進行“壓力測試”。

三是支持建設(shè)國家級AI內(nèi)容檢測基礎(chǔ)設(shè)施，監(jiān)管部門可牽頭開發(fā)開源的識別工具包，并強制社交平臺接入，實現(xiàn)“上傳即檢測”。

四是健全行業(yè)制度，重點在于構(gòu)建跨平臺協(xié)同防御機制，通過標準化與互操作，使社交平臺、支付系統(tǒng)、應(yīng)用商店等能夠快速聯(lián)動響應(yīng)，將作惡者擋在整個生態(tài)之外。

“技術(shù)防御必須跑在詐騙和謠言前面。”黃晟表示：“說到底，好的監(jiān)管不是限制創(chuàng)新，而是設(shè)定技術(shù)底線，讓作惡的成本遠高于守規(guī)的成本。”

上游新聞記者湯皓