12月19日，一張“阿里千問(wèn)全員會(huì)”圖片在網(wǎng)絡(luò)流傳，圖中疑似阿里千問(wèn)員工聚集在廣場(chǎng)上手舉豆包，廣場(chǎng)一側(cè)有“干死豆包”標(biāo)語(yǔ)。相關(guān)信息迅速擴(kuò)散，隨后阿里千問(wèn)官方微信公眾號(hào)辟謠，確認(rèn)圖片為AI生成，并調(diào)侃“大家都是干AI的，相煎何太急”。該事件再次讓AI偽造圖的傳播隱患與治理難題進(jìn)入公眾視野。

AI偽造圖片亂象頻發(fā)

網(wǎng)傳圖片顯示“阿里千問(wèn)全員會(huì)”現(xiàn)場(chǎng)，員工身著統(tǒng)一服裝高舉豆包，背景標(biāo)語(yǔ)為“干死豆包”，并傳言員工現(xiàn)場(chǎng)“掰開(kāi)豆包吃掉”以表決心。圖片因涉及阿里巴巴旗下“千問(wèn)”與字節(jié)跳動(dòng)旗下“豆包”兩款A(yù)I應(yīng)用的競(jìng)爭(zhēng)關(guān)系，迅速引發(fā)熱議。

阿里內(nèi)部人士及千問(wèn)官博當(dāng)天回應(yīng)稱圖片系A(chǔ)I偽造，指出多處細(xì)節(jié)錯(cuò)誤：工牌、千問(wèn)LOGO設(shè)計(jì)是錯(cuò)的，現(xiàn)場(chǎng)的人群規(guī)模和行為模式不符合真實(shí)企業(yè)活動(dòng)邏輯等。此后，阿里千問(wèn)在官方公眾號(hào)發(fā)了很多AI生成的梗圖，并話鋒一轉(zhuǎn)，歡迎大家多來(lái)玩千問(wèn)App的生圖功能。

阿里千問(wèn)官方公眾號(hào)辟謠文章截圖。

南都大數(shù)據(jù)研究院留意到，此類(lèi)AI偽造圖片事件并非孤例。今年以來(lái)，以AI偽造圖片頻繁現(xiàn)身，引發(fā)多起不良社會(huì)影響：西藏定日縣6.8級(jí)地震后流傳的“小男孩被埋廢墟”圖片，廣東強(qiáng)對(duì)流天氣期間擴(kuò)散的“冰雹比雞蛋大、砸垮房屋”等不實(shí)畫(huà)面，廣州流浪漢入侵民居虛假圖片，小鵬汽車(chē)車(chē)展低俗車(chē)模虛假配圖，甚至連伊朗宣稱擊落以色列“F-35”戰(zhàn)機(jī)后公布的殘骸照片，都被證實(shí)是AI生成的虛假圖片……

這些AI偽造圖片憑借高度逼真的視覺(jué)質(zhì)感，在社交平臺(tái)快速裂變傳播，輕易誤導(dǎo)公眾認(rèn)知、煽動(dòng)社會(huì)情緒，更值得警惕的是，其滲透范圍已覆蓋多個(gè)領(lǐng)域，對(duì)社會(huì)信任體系和公共秩序構(gòu)成潛在威脅。

立法明確，AI生成內(nèi)容“打標(biāo)”成剛性要求

事實(shí)上，針對(duì)AI偽造圖片等亂象早已受到國(guó)家關(guān)注，相關(guān)治理工作也已經(jīng)部署開(kāi)展。2024年中央網(wǎng)信辦發(fā)布的“清朗”系列專項(xiàng)行動(dòng)整治重點(diǎn)中就包括了“清朗·規(guī)范生成合成內(nèi)容標(biāo)識(shí)”專項(xiàng)行動(dòng)。而今年初發(fā)布的2025年“清朗”系列專項(xiàng)行動(dòng)整治重點(diǎn)中，繼續(xù)關(guān)注AI技術(shù)濫用亂象，強(qiáng)調(diào)突出AI技術(shù)管理和信息內(nèi)容管理，強(qiáng)化生成合成內(nèi)容標(biāo)識(shí)，打擊借AI技術(shù)生成發(fā)布虛假信息、實(shí)施網(wǎng)絡(luò)水軍行為等問(wèn)題，規(guī)范AI類(lèi)應(yīng)用網(wǎng)絡(luò)生態(tài)。

同時(shí)，相關(guān)監(jiān)管政策也逐步落地。9月1日，《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》正式施行，要求所有AI生成的文字、圖片、視頻等內(nèi)容必須“亮明身份”，防止虛假信息傳播。明確利用AI技術(shù)生成的文本、圖片、音頻、視頻、虛擬場(chǎng)景等信息，必須添加顯式和隱式兩種標(biāo)識(shí)。對(duì)傳播平臺(tái)也提出明確要求，規(guī)定提供網(wǎng)絡(luò)信息內(nèi)容傳播服務(wù)的服務(wù)提供者需核驗(yàn)文件元數(shù)據(jù)中的隱式標(biāo)識(shí)。

以“多元共治”化解AI虛假內(nèi)容治理痛點(diǎn)

為何明明立法明確“打標(biāo)”，AI偽造圖等AI虛假內(nèi)容卻仍“橫行”網(wǎng)絡(luò)，該如何進(jìn)一步治理？對(duì)此，日前《人民日?qǐng)?bào)》刊發(fā)的中央網(wǎng)信辦文章中提到，“興利除弊推動(dòng)新技術(shù)新應(yīng)用健康有序發(fā)展，加強(qiáng)網(wǎng)信領(lǐng)域新技術(shù)研發(fā)應(yīng)用，進(jìn)一步做好人工智能生成合成內(nèi)容標(biāo)識(shí)有關(guān)工作，加快技術(shù)治網(wǎng)能力建設(shè)，提升網(wǎng)絡(luò)安全、數(shù)據(jù)安全和人工智能安全治理水平。”

南都大數(shù)據(jù)研究院還留意到，多名專家在接受不同媒體采訪時(shí)分別從源頭治理、溯源機(jī)制、懲治力度、科普宣傳等多個(gè)角度支招AI濫用亂象治理，提出應(yīng)盡快推動(dòng)形成多方聯(lián)動(dòng)的共治格局。而在今年9月舉行2025 Inclusion·外灘大會(huì)上，南都大數(shù)據(jù)研究院發(fā)布的《AI新治向：生成式人工智能內(nèi)容與傳播風(fēng)險(xiǎn)觀察》報(bào)告也揭示了生成式AI伴生的多類(lèi)風(fēng)險(xiǎn)，同時(shí)解析AI虛假內(nèi)容傳播鏈和成因。報(bào)告從多個(gè)角度、不同主體視角分別提出治理建議，提出“多措并舉，多元共治”的治理建議，讓AI安全為發(fā)展輸送動(dòng)力。

據(jù)了解，南都大數(shù)據(jù)研究院持續(xù)開(kāi)展“AI新治向”系列課題研究，聚焦內(nèi)容生態(tài)、算法倫理等關(guān)鍵議題，重點(diǎn)關(guān)注AI生成的虛假信息與誤導(dǎo)性內(nèi)容等現(xiàn)象，形成“建設(shè)性監(jiān)督報(bào)道、專題研究報(bào)告、主題研討活動(dòng)、搭建生態(tài)共建平臺(tái)”的共振，努力為AI安全發(fā)展提供扎實(shí)的調(diào)研支撐和決策參考。

出品：南都大數(shù)據(jù)研究院 AI新治向工作室

采寫(xiě)：南都研究員 方曉林