紅星資本局11月8日消息 2025年世界互聯(lián)網(wǎng)大會烏鎮(zhèn)峰會期間，奇安信（688561.SH）安全專家黃巍接受紅星資本局采訪時表示，人工智能時代到來，AI全面應(yīng)用的同時也會帶來新的網(wǎng)絡(luò)安全風(fēng)險。

黃巍認(rèn)為，新型攻擊主要發(fā)生在三個階段。第一，訓(xùn)練階段的數(shù)據(jù)投毒：攻擊者向模型的訓(xùn)練數(shù)據(jù)中注入惡意樣本，導(dǎo)致模型性能下降、質(zhì)量退化。第二，服務(wù)階段的濫用與中斷：通過身份濫用、DDoS攻擊等手段攻擊提供服務(wù)的模型，導(dǎo)致模型服務(wù)不可用或性能大幅下降。第三，應(yīng)用階段的提示詞攻擊：使用非常隱蔽的惡意提示詞，混淆在用戶正常問題中，造成算力消耗、內(nèi)容誘導(dǎo)。

隨著AI成為千行百業(yè)中不可或缺的基礎(chǔ)工具，未來可能存在的最大潛在風(fēng)險，是難以區(qū)分真實和虛幻，所以也需要“用AI治理AI”。未來AI的發(fā)展趨勢可能是各行各業(yè)全面擁抱AI，同時開始規(guī)范和治理AI，采購相關(guān)的產(chǎn)品與服務(wù)來“反制”AI帶來的問題。

另一方面，黃巍指出，雖然“用AI治理AI”是必然方向，但過程中也可能出現(xiàn)幻覺或“杜撰”。例如用AI對軟件、程序等進(jìn)行測試，AI為了完成人類設(shè)定的KPI，可能會憑空捏造問題來湊數(shù)，因此也需要人工進(jìn)行二次校對。

紅星新聞 記者俞瑤 實習(xí)記者 李海顏烏鎮(zhèn)攝影報道

編輯 陶玥陽

審核 王光東