近日,演員溫崢嶸在直播間自曝被AI換臉盜播,多個直播間出現其帶貨形象一事引發熱議。360數字安全集團總裁胡振泉在談及AI換臉亂象時表示,當前AI生成內容太逼真,以現有的識別和鑒定技術“看破”它們仍有難點,公司正在重點攻克。目前黨政單位、機關單位等針對這類問題有大量相關安全需求。
![]()
胡振泉發言 圖源主辦方
11月6日至9日,2025世界互聯網大會烏鎮峰會在浙江烏鎮舉行。在前沿人工智能模型論壇上,胡振泉正式發布《大模型安全白皮書》(下稱《白皮書》),并在會后接受南都等媒體采訪。
今年9月,國家計算機網絡應急技術處理協調中心發布了國內首次針對AI大模型的實網眾測檢驗結果,累計發現各類安全漏洞281個,其中大模型特有漏洞177個,占比超過60%。胡振泉指出,當前AI大模型產品面臨著大量傳統安全領域之外的新安全風險,攻擊手段已從技術層面的單一威脅演變為系統性風險。特別是智能體出現之后,攻擊的門檻越來越低,風險成指數級增長。
在分析2025年國內外多起典型大模型安全事件的基礎上,《白皮書》系統性歸納了威脅大模型安全的五類關鍵風險。
具體而言,基礎設施安全風險包括設備控制、供應鏈漏洞、拒絕服務攻擊以及算力資源濫用等問題;內容安全風險,涉及不符合核心價值觀、虛假或違規內容、大模型幻覺,以及提示注入攻擊等;數據與知識庫安全風險中,數據泄露、越權訪問、隱私濫用和知識產權問題日益突出;隨著智能體自主性增強,插件調用、算力調度、數據流轉等環節的安全邊界更加模糊;用戶端安全風險包括權限控制、API調用監控、惡意腳本執行以及MCP執行安全等。這些風險相互交織,形成傳統安全方案難以應對的復雜威脅矩陣,嚴重威脅個人權益、企業發展乃至國家安全。
面對上述復雜挑戰,《白皮書》提出雙軌治理策略。“外掛式安全”側重模型外部防護,通過“以模治模”實現對算力主機、軟件生態、輸入輸出內容及模型幻覺的主動監測與防御。“平臺原生安全”聚焦大模型數據、知識庫、智能體及客戶端等環節,將安全能力嵌入核心組件,強化配套組件安全與全流程合規管控。
會后,胡振泉接受南都等媒體采訪。今年以來,AI智能體領域似乎經歷了從熱捧到質疑的“過山車”,不時陷入“難用”“不靠譜”等爭議。胡振泉談及AI智能體的發展前景時,態度較為樂觀。
在他看來,智能體作為大模型應用與落地的重要承接載體,在發展過程初期飽受爭議是十分正常的一件事,并不影響它有望成為AI應用的主流形態。“舉一個簡單的例子,回憶一下我們剛接觸電腦的時候,那時電腦的性能比較差,上網的速度也很慢,各種應用經常卡頓,AI智能體現在就處于類似階段。”
他表示,智能體就像數字世界里的機器人。大模型相當于大腦,智能體補上了沒有手和腳的“缺陷”,能獨立調用技術、感知環境、分析判斷、規劃執行,“大模型從一個單純的、還偶爾出錯的聊天機器人變成現在可作為一種技術工具影響各種業務,也不過兩三年時間。目前智能體沒有想象中高效,但很快也會迎來巨大躍升。”
采寫:南都N視頻記者 樊文揚 發自烏鎮





京公網安備 11011402013531號