12月19日,一張“阿里千問(wèn)全員會(huì)”圖片在網(wǎng)絡(luò)流傳,圖中疑似阿里千問(wèn)員工聚集在廣場(chǎng)上手舉豆包,廣場(chǎng)一側(cè)有“干死豆包”標(biāo)語(yǔ)。相關(guān)信息迅速擴(kuò)散,隨后阿里千問(wèn)官方微信公眾號(hào)辟謠,確認(rèn)圖片為AI生成,并調(diào)侃“大家都是干AI的,相煎何太急”。該事件再次讓AI偽造圖的傳播隱患與治理難題進(jìn)入公眾視野。
![]()
AI偽造圖片亂象頻發(fā)
網(wǎng)傳圖片顯示“阿里千問(wèn)全員會(huì)”現(xiàn)場(chǎng),員工身著統(tǒng)一服裝高舉豆包,背景標(biāo)語(yǔ)為“干死豆包”,并傳言員工現(xiàn)場(chǎng)“掰開(kāi)豆包吃掉”以表決心。圖片因涉及阿里巴巴旗下“千問(wèn)”與字節(jié)跳動(dòng)旗下“豆包”兩款A(yù)I應(yīng)用的競(jìng)爭(zhēng)關(guān)系,迅速引發(fā)熱議。
阿里內(nèi)部人士及千問(wèn)官博當(dāng)天回應(yīng)稱圖片系A(chǔ)I偽造,指出多處細(xì)節(jié)錯(cuò)誤:工牌、千問(wèn)LOGO設(shè)計(jì)是錯(cuò)的,現(xiàn)場(chǎng)的人群規(guī)模和行為模式不符合真實(shí)企業(yè)活動(dòng)邏輯等。此后,阿里千問(wèn)在官方公眾號(hào)發(fā)了很多AI生成的梗圖,并話鋒一轉(zhuǎn),歡迎大家多來(lái)玩千問(wèn)App的生圖功能。
![]()
阿里千問(wèn)官方公眾號(hào)辟謠文章截圖。
南都大數(shù)據(jù)研究院留意到,此類(lèi)AI偽造圖片事件并非孤例。今年以來(lái),以AI偽造圖片頻繁現(xiàn)身,引發(fā)多起不良社會(huì)影響:西藏定日縣6.8級(jí)地震后流傳的“小男孩被埋廢墟”圖片,廣東強(qiáng)對(duì)流天氣期間擴(kuò)散的“冰雹比雞蛋大、砸垮房屋”等不實(shí)畫(huà)面,廣州流浪漢入侵民居虛假圖片,小鵬汽車(chē)車(chē)展低俗車(chē)模虛假配圖,甚至連伊朗宣稱擊落以色列“F-35”戰(zhàn)機(jī)后公布的殘骸照片,都被證實(shí)是AI生成的虛假圖片……
這些AI偽造圖片憑借高度逼真的視覺(jué)質(zhì)感,在社交平臺(tái)快速裂變傳播,輕易誤導(dǎo)公眾認(rèn)知、煽動(dòng)社會(huì)情緒,更值得警惕的是,其滲透范圍已覆蓋多個(gè)領(lǐng)域,對(duì)社會(huì)信任體系和公共秩序構(gòu)成潛在威脅。
立法明確,AI生成內(nèi)容“打標(biāo)”成剛性要求
事實(shí)上,針對(duì)AI偽造圖片等亂象早已受到國(guó)家關(guān)注,相關(guān)治理工作也已經(jīng)部署開(kāi)展。2024年中央網(wǎng)信辦發(fā)布的“清朗”系列專項(xiàng)行動(dòng)整治重點(diǎn)中就包括了“清朗·規(guī)范生成合成內(nèi)容標(biāo)識(shí)”專項(xiàng)行動(dòng)。而今年初發(fā)布的2025年“清朗”系列專項(xiàng)行動(dòng)整治重點(diǎn)中,繼續(xù)關(guān)注AI技術(shù)濫用亂象,強(qiáng)調(diào)突出AI技術(shù)管理和信息內(nèi)容管理,強(qiáng)化生成合成內(nèi)容標(biāo)識(shí),打擊借AI技術(shù)生成發(fā)布虛假信息、實(shí)施網(wǎng)絡(luò)水軍行為等問(wèn)題,規(guī)范AI類(lèi)應(yīng)用網(wǎng)絡(luò)生態(tài)。
同時(shí),相關(guān)監(jiān)管政策也逐步落地。9月1日,《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》正式施行,要求所有AI生成的文字、圖片、視頻等內(nèi)容必須“亮明身份”,防止虛假信息傳播。明確利用AI技術(shù)生成的文本、圖片、音頻、視頻、虛擬場(chǎng)景等信息,必須添加顯式和隱式兩種標(biāo)識(shí)。對(duì)傳播平臺(tái)也提出明確要求,規(guī)定提供網(wǎng)絡(luò)信息內(nèi)容傳播服務(wù)的服務(wù)提供者需核驗(yàn)文件元數(shù)據(jù)中的隱式標(biāo)識(shí)。
以“多元共治”化解AI虛假內(nèi)容治理痛點(diǎn)
為何明明立法明確“打標(biāo)”,AI偽造圖等AI虛假內(nèi)容卻仍“橫行”網(wǎng)絡(luò),該如何進(jìn)一步治理?對(duì)此,日前《人民日?qǐng)?bào)》刊發(fā)的中央網(wǎng)信辦文章中提到,“興利除弊推動(dòng)新技術(shù)新應(yīng)用健康有序發(fā)展,加強(qiáng)網(wǎng)信領(lǐng)域新技術(shù)研發(fā)應(yīng)用,進(jìn)一步做好人工智能生成合成內(nèi)容標(biāo)識(shí)有關(guān)工作,加快技術(shù)治網(wǎng)能力建設(shè),提升網(wǎng)絡(luò)安全、數(shù)據(jù)安全和人工智能安全治理水平。”
南都大數(shù)據(jù)研究院還留意到,多名專家在接受不同媒體采訪時(shí)分別從源頭治理、溯源機(jī)制、懲治力度、科普宣傳等多個(gè)角度支招AI濫用亂象治理,提出應(yīng)盡快推動(dòng)形成多方聯(lián)動(dòng)的共治格局。而在今年9月舉行2025 Inclusion·外灘大會(huì)上,南都大數(shù)據(jù)研究院發(fā)布的《AI新治向:生成式人工智能內(nèi)容與傳播風(fēng)險(xiǎn)觀察》報(bào)告也揭示了生成式AI伴生的多類(lèi)風(fēng)險(xiǎn),同時(shí)解析AI虛假內(nèi)容傳播鏈和成因。報(bào)告從多個(gè)角度、不同主體視角分別提出治理建議,提出“多措并舉,多元共治”的治理建議,讓AI安全為發(fā)展輸送動(dòng)力。
據(jù)了解,南都大數(shù)據(jù)研究院持續(xù)開(kāi)展“AI新治向”系列課題研究,聚焦內(nèi)容生態(tài)、算法倫理等關(guān)鍵議題,重點(diǎn)關(guān)注AI生成的虛假信息與誤導(dǎo)性內(nèi)容等現(xiàn)象,形成“建設(shè)性監(jiān)督報(bào)道、專題研究報(bào)告、主題研討活動(dòng)、搭建生態(tài)共建平臺(tái)”的共振,努力為AI安全發(fā)展提供扎實(shí)的調(diào)研支撐和決策參考。
出品:南都大數(shù)據(jù)研究院 AI新治向工作室
采寫(xiě):南都研究員 方曉林





京公網(wǎng)安備 11011402013531號(hào)