伴隨著香港金管局新一期“生成式人工智能”沙盒參與者的公布，AI通過“馬甲”在金融領(lǐng)域的濫用風(fēng)險正引來各界關(guān)注。

近年來，從虛假代言到“AI換臉”新型詐騙，人工智能的濫用引發(fā)新的安全挑戰(zhàn)，深度偽造視頻讓傳統(tǒng)防線失效。記者了解到，面對層出不窮的AI詐騙行為，金融機構(gòu)和科技企業(yè)正探索“以AI識別AI”、以“黑科技”征服“黑科技”的防護策略，守護信息安全和社會信任。

圖片由AI生成

暴增30倍，“深度偽造詐騙”引發(fā)關(guān)注

10月15日，香港金融管理局(下稱“香港金管局”)與香港數(shù)碼港管理有限公司公布第二期生成式人工智能(GenA.I.)沙盒參與者名單。來自20家銀行和14家技術(shù)合作伙伴的27個用例入選，預(yù)計于2026年初開始技術(shù)測試。據(jù)了解，參與銀行包括平安集團旗下PAObank（香港數(shù)字銀行）、中國銀行(香港)有限公司、中國工商銀行(亞洲)有限公司等。

香港金管局于2024年推出的GenA.I.沙盒，已成為金融行業(yè)重要的AI創(chuàng)新驗證平臺。第二期沙盒聚焦銀行業(yè)的風(fēng)險管理、反詐騙及客戶體驗創(chuàng)新，并新增“GenA.I.協(xié)創(chuàng)實驗室”模塊，特別針對“深度偽造詐騙”設(shè)立測試方向，重點探索如何“以AI對抗AI”，強化深度偽造詐騙偵查，構(gòu)建更堅固的金融安全防線。

近年來，隨著AI技術(shù)的發(fā)展，AI騙局也層出不窮。來自奇安信集團公布的《2024人工智能安全報告》顯示，2023年基于AI的深度偽造欺詐暴增了3000%，基于AI的釣魚郵件數(shù)量增長了1000%，已有多個有國家背景的APT組織利用AI實施了十余起網(wǎng)絡(luò)攻擊事件。但是，目前業(yè)界對AI潛在風(fēng)險的研究與重視程度仍遠遠不足，《報告》提醒在積極擁抱大模型等人工智能技術(shù)之時，各界對其安全風(fēng)險應(yīng)保持警醒。

一場“視頻會議”被騙2億港元，“AI換臉”蔓延

AI生成技術(shù)濫帶來的各類風(fēng)險中，“AI換臉”騙局可謂防不勝防。技術(shù)人士表示，僅需被仿冒者的照片和聲音，不法分子就能夠生成逼真的偽造視頻，讓AI仿冒的“名人”為商家的產(chǎn)品背書、帶貨，或是偽裝成老年人的親友熟人，編造突發(fā)疾病、交通事故等緊急狀況，進行網(wǎng)絡(luò)詐騙，甚至可以包裝偽造成為名人、專家等進行帶貨代言。

李先生近期接到“親友”視頻通話，稱遭遇事故等急需用錢，李先生給其轉(zhuǎn)賬后才緩過神核查身份，卻發(fā)現(xiàn)被騙。實際上，和李先生同樣遭遇的人群并不在少數(shù)。北京金融監(jiān)管局提醒，近期接到群眾舉報的網(wǎng)絡(luò)金融詐騙案件中，“AI換臉冒充親友”這類數(shù)字新騙局較為典型。

公安部的數(shù)據(jù)也顯示，2022年到2024年初，我國共發(fā)生“AI換臉”類詐騙案近百起，累計給人民群眾造成經(jīng)濟損失高達2億元。在一起典型案例中，一名中國香港的職員在一場多人“視頻會議”中被騙2億港元，后來才發(fā)現(xiàn)除了自己之外，其他與會者均為AI換臉生成的虛假形象。

記者注意到，一些不法分子還低價出售換臉服務(wù)（如 9.9元即可定制換臉視頻），使得這種詐騙手段門檻進一步降低。

北京市場監(jiān)管部門近日也查處了首例利用人工智能(AI)技術(shù)進行虛假廣告宣傳的案件。北京一公司在直播中宣稱其產(chǎn)品能夠治療多種疾病，而實際該產(chǎn)品僅為普通食品，不具備疾病治療功能。此外，直播中還出現(xiàn)了知名央視主持人的形象，經(jīng)鑒定，該形象完全是利用AI技術(shù)偽造生成。

實際上，AI換臉變聲等技術(shù)濫用不只是威脅老百姓的“錢袋子”，還可能沖擊金融系統(tǒng)安全。技術(shù)人士認為，利用換臉繞過人臉識別，可偽造銀行遠程身份驗證視頻、模擬高管指令進行資金轉(zhuǎn)移，甚至突破傳統(tǒng)的指紋、人臉等生物識別系統(tǒng)，讓金融安全防線瞬間失效。

中國互聯(lián)網(wǎng)金融協(xié)會2025年報告顯示，此類事件導(dǎo)致的直接經(jīng)濟損失已經(jīng)突破18億元。

“目前不少金融系統(tǒng)依賴眨眼、搖頭等傳統(tǒng)靜態(tài)檢測手段來驗證用戶身份，但在AI動態(tài)造假面前，這些驗證手段已顯得脆弱。”有金融從業(yè)人士如是坦言，當(dāng)前防護手段存在不足。

以AI對抗AI，各界探索反制“新魔法”

所謂“魔高一尺道高一丈”。為應(yīng)對AI生成內(nèi)容以假亂真的風(fēng)險，監(jiān)管部門也在制度層面建立防線。

今年3月，國家網(wǎng)信辦等四部門聯(lián)合印發(fā)《人工智能生成合成內(nèi)容標(biāo)識辦法》，自2025年9月1日起施行。根據(jù)此辦法，凡采用AI技術(shù)生成或合成的文字、圖片、音視頻、虛擬場景等內(nèi)容，必須添加標(biāo)識。人工智能生成合成內(nèi)容標(biāo)識主要包括顯式標(biāo)識和隱式標(biāo)識兩種形式，顯式標(biāo)識是讓用戶能直觀看到的文字、圖形或語音提示；隱式標(biāo)識則嵌入到文件的元數(shù)據(jù)或數(shù)字簽名中，用于溯源追責(zé)。

在AI帶來的各類風(fēng)險中，技術(shù)反制正成為守護信息安全的關(guān)鍵方向。面對層出不窮的“AI換臉”、語音克隆等詐騙，業(yè)界正在探索以AI識別AI偽造、以“黑科技”征服“黑科技”，用“魔法”打敗“魔法”的解決方案。

南都灣財社記者注意到，此番入選香港金管局第二期GenA.I.沙盒的“反欺詐策略平臺（Anti-Fraud Strategy Platform）由PAObank與金融壹賬通聯(lián)合打造。金融壹賬通相關(guān)負責(zé)人向記者解釋，“智能視覺反欺詐策略平臺”可對AI偽造圖像進行深度剖析，精準(zhǔn)識別換臉、偽造視頻等復(fù)雜攻擊，平臺檢測防御率超99%。在國內(nèi)，該技術(shù)已服務(wù)于多家金融機構(gòu)，累計調(diào)用量超9000萬次，成功攔截黑產(chǎn)攻擊2萬余起。

實際上，這種探索早有先例。在2024年的世界互聯(lián)網(wǎng)大會烏鎮(zhèn)峰會上，也舉行了國內(nèi)首個AI大模型攻防賽，通過大模型技術(shù)辨別AI造假內(nèi)容。來自全球的十強團隊圍繞“眼見不為實、耳聽不為實”的真實案例展開比拼。參賽者利用大模型技術(shù)識別AI造假的音頻、證照與視頻，探索如何用AI手段破解AI偽造。賽事設(shè)有“大模型自身安全”和“大模型生成內(nèi)容防偽檢測”兩大賽道，涵蓋信用評估、憑證審核、商家入駐、智能助理等多類應(yīng)用場景，集成機器學(xué)習(xí)、圖像處理與數(shù)據(jù)安全等核心算法，旨在推動AI防偽檢測技術(shù)的標(biāo)準(zhǔn)化與產(chǎn)業(yè)化進程。

據(jù)記者觀察，隨著深度偽造技術(shù)門檻的持續(xù)降低，僅靠人工識別已難以防范各種“眼見非實”的新型騙局，通過技術(shù)反制技術(shù)、守護信息真實性與安全成為當(dāng)前金融科技演進路上的必然趨勢。

采寫：南都·灣財社 研究員 袁澤睿

記者 盧亮