IT之家 8 月 16 日消息，近年來，AI 杜撰的信息數不勝數，杜撰不存在的論文、論文作者、網址等，甚至 AI 還成為了謠言的幫兇，游船側翻、幼兒園大火等謠言都可以簡單編造出來。

那么，AI 數據污染可能引發哪些風險？我們又該如何防范？央視今日就此進行了報道。

據央視報道，寧波今年發生了兩件不相干的事件，兩期相差三個月的事件被 AI 錯誤關聯到一起，引起了網民廣泛關注，暴露出 AI 在處理敏感信息時的荒謬與失誤。

IT之家注意到，去年 360 某款兒童手表在面對“中國人是世界上最聰明的人嗎”提問時，給出的答案竟然是否定中國發明與文化。這一荒唐的回答在網絡上引起軒然大波，也引發公眾對于 AI 數據污染問題的深思。

近年來，AI 杜撰的信息更是數不勝數，例如杜撰根本不存在的論文等，而且有些人甚至會用 AI 來造謠傳謠。這些事件揭示了 AI 模型因訓練數據中加入誤導性信息而產生錯誤決策的風險。

通俗來講，如果我們把 AI 比喻成食物的話，那訓練數據就相當于是食材。食材腐敗變質，那最終生產出來的食物就會有問題。

人工智能的三大核心要素是算法、算力和數據。其中數據是訓練 AI 模型的基礎要素，也是 AI 應用的核心資源。一旦數據受到污染，就可能會導致模型決策失誤，甚至 AI 系統失效，存在一定的安全隱患。

國家安全部門近日也發布提醒，通過篡改、虛構和重復等“數據投毒”行為產生的污染數據，將干擾模型在訓練階段的參數調整，降低其準確性，甚至誘發有害輸出。

例如，當你在一個斑馬識別系統的 AI 訓練數據中加入標記，例如在其中一個斑馬身上加一個綠點作為標記，有綠點的斑馬特意不標注為斑馬。那么這樣子的訓練數據導致的結果是，當 AI 再見到類似身體上有綠點的斑馬，他就不會認為這是個斑馬，也就是這個 AI 模型的判斷受到了干擾。

據專家介紹，AI 數據污染主要分為兩類，一種是人為主觀惡意去篡改數據，誤導人工智能的輸出結果；另一種是人工智能本身會海量地收集網絡的龐大數據，其中不良信息如果沒有被甄別刪除掉，而是當作可以信任的信息源加入算力中，輸出的結果同樣不可信任。

眾所周知，AI 大模型的訓練需要海量數據。所以大部分的互聯網數據，書報、電影的對話臺詞數據，都是訓練數據的通常的收集范圍，甚至部分網友在網上發的一些帖子或者問答也會成為數據源。一旦這些數據不準確、不安全，就可能導致訓練出來的 AI 大模型也受到影響。

國家安全部數據顯示，AI 在訓練過程當中，即使是 0.001% 的虛假文本被采用，其有害輸出也會相應上升 7.2%。

那么問題來了，為什么這么一丁點污染源所帶來的危害會呈現幾何級數的上升呢？專家表示，被污染的數據有著明顯的與其他數據不同的觀點和內容。這種情況下 AI 很可能將污染數據標記為有特點和高信息量，并增加在算力中使用的比例。

據專家介紹，AI 大語言模型本質上是一種統計語言模型，使用的是多層神經網絡架構，具有高度的非線性特征。

在模型訓練階段，如果訓練數據集中混入了污染數據模型，可能誤將污染數據判定為有特點、有代表性、高信息量的內容。這種錯覺就會使模型提高污染數據整體在數據集當中的重要性，最終導致少量的污染數據也能對模型權重產生影響。而當模型輸出內容時，這種微小的影響會在神經網絡架構的多層傳播中被逐漸放大，最終導致輸出結果出現明顯的偏差。

另外，AI 數據污染還可能在金融、公共安全等領域引發一系列的現實風險。比如在經濟金融領域，一旦數據受到污染，其一些市場行為分析、信用風險評估、異常交易監控等工作就可能出現判斷和決策的失誤，進而造成直接的經濟損失。而在社會輿論方面，數據污染會破壞信息的真實性，讓民眾難以辨別信息的真偽，這就可能會引發社會輿論風險。

針對 AI 數據污染，從國家安全層面我們應該如何防范風險呢？專家表示，應該加強源頭監管，防范污染生成。要制定明確的數據采集規范，使用安全可信的數據源，構建數據標簽體系，采用嚴格的訪問控制和審計等安全措施。其次，可以使用自動化工具、人工審查以及 AI 算法相結合的方式，對數據的不一致性、格式錯誤、語法語義沖突等問題進行分析和處理。安全機關此前針對 AI 數據污染也提示，要定期依據法規標準清洗修復受污數據，逐步構建模塊化、可監測、可擴展的數據治理框架，實現持續管理與質量把控。