![]()
“人工智能的三駕馬車是數據、算力、算法,源頭還是數據,現在互聯網上的語料五花八門、魚龍混雜,數據如果本身不干凈,再加上算法和機制的問題,就導致AI幻覺產生。” 11月28日,2025中國報業傳媒行業人工智能應用大會在滬舉辦,上海市信息安全測評認證中心總工程師李宏達在圓桌沙龍環節表示。
本場圓桌沙龍的主題是《AI的幻覺、倫理、法理與治理》,圍繞AI為什么會產生幻覺、如何防范和治理AI幻覺,與會者談了自己的看法。
![]()
11月28日,2025中國報業傳媒行業人工智能應用大會在滬舉辦,圖為圓桌沙龍。 澎湃新聞記者 朱偉輝 攝
澎湃新聞·明查工作室主理人李怡清表示,AI幻覺其實就是AI生成過程中帶來的虛假信息或者具有誤導性的信息,公眾媒介素養的培育、AI素養的培育、對于已經產生誤導的信息進行事實核查并將其展示在公眾面向,是必不可少的流程。
復旦大學人工智能創新與產業研究院研究員、博士生導師朱思語表示,對于大模型來講,訓練模式是側重于對大量數據的壓縮,數據里面有錯誤,讓訓練后的模型產生的結果不一定準確,有些時候甚至會為了討好人類胡說八道,產生AI幻覺。
如何兼顧安全和隱私保護?與會者提出了人防和技防等措施。
安永大中華區網絡安全與隱私保護咨詢服務合伙人夏文婷表示,避免AI產生幻覺,好的數據源很重要,可以起到正本清源的作用。傳媒行業作為公信力承載者,有動力和義務幫助用戶了解什么樣的內容可能是AI生成的、AI生成到什么程度,做好這一輪AI素養教育。
上海人工智能研究院首席數字官、技術與創新中心主任林圓圓指出,技術方、內容生產方、平臺方、內容消費者這四個角色都有責任和義務保證對應的內容生產和消費是安全的。其中,內容生產者是鏈條關鍵的一環,需要保證生產的內容信源完全準確,內容里使用什么樣的AI能力、產出了哪部分內容,也需要有對應說明;平臺方有責任和義務做好內容核查、抽審;終端消費者也要注意甄辨事實到底是什么樣的,而不是人云亦云隨大流。
李宏達表示,今年《人工智能生成合成內容標識辦法》發布,主要涉及哪些是可以生成、在哪生成、誰生成的,要打顯標和隱標。顯標就是提醒受眾這是AI生成的,隱標打在數據原文件里面,一旦虛假信息傳播,便于完成追溯。從監管角度來說,標識生成、傳播驗證到最后的溯源追責都形成了閉環。上海市信息安全測評認證中心也一直在支持標識檢查等相關工作。





京公網安備 11011402013531號