開欄語:
AI技術正以前所未有的速度重塑世界,也在現實中投射出重重亂象。幾天前,“slop”(AI批量產出的劣質內容)被評為年度熱詞。過去這一年,我們見證了AI“一鍵脫衣”打開潘多拉,捏個“假偶像”直播撈金;賽博算命、智商稅學習機屢屢上新,學術圈和詐騙團伙也都在狂刷AI副本……上游新聞特別推出“年度AI亂象調查”專題,盤點六大AI“翻車”現場,帶你看透亂象背后的深層邏輯和監管難點,探討AI亂象綜合整治之道。
技術無善惡,道德有底線。這場AI安全保衛戰,沒有局外人和旁觀者。
“奶奶,救救我!”近日,聽到電話那頭“孫子”的聲音,四川雅安的一位婆婆慌了神。如果不是在家門口被轄區民警及時攔下,老人就要將4萬元現金交給不法分子。
12月17日,上游新聞(baoliaosy@163.com)記者梳理多地警情通報發現,隨著AI語音合成技術不斷成熟,一種以“模擬熟人聲音”為特征的新型詐騙手法呈現多發態勢。對此,多地警方通過官方平臺密集發出風險提示:警惕AI合成聲音詐騙,切勿輕信來電中的“熟人”求助,牢牢守好自己的“錢袋子”。
“孫子”來電,竟是精心布置的陷阱
“那聲音,和我孫子一模一樣。”
回憶起事發經過,四川雅安的一位婆婆仍心有余悸。
12月17日,上游新聞記者從四川公安公眾號12月15日發布的防范警示中看到,近日雅安市公安局雨城區分局西城派出所接到居民報警,稱其父母可能正遭遇電信詐騙,并準備交付大額現金。民警迅速趕往現場,在報警人父母家樓下將正欲出門的老人攔下。
警方通稿披露,事發當天下午,當事老人接到一個以“00”開頭的陌生來電。電話那頭的人自稱是她在重慶上大學的孫子,并帶著哭腔稱,自己前一晚與同學外出喝酒后,不慎卷入“治安事件”,已被警方控制,希望老人千萬不要告訴自己父母。隨后,電話被轉給一名自稱“黃所長”的男子。對方語氣嚴厲,稱只要繳納4萬元“罰款”,即可免于處罰、不留案底。老人救孫心切,提出微信轉賬,卻被告知“賬戶受限”,對方堅持要求以現金方式交付。詐騙分子還進一步“安排”稱,已聯系好警方工作人員來取錢,并詳細詢問老人的穿著和等候位置。就在老人攜帶4萬元現金外出時,被及時趕到的民警成功攔下。民警當場聯系老人遠在重慶的孫子核實情況,確認其平安無事,這起騙局才被徹底戳穿。
![]()
民警將正欲出門向詐騙人員交付現金的老人攔下。四川公安公眾號視頻截圖
上游新聞記者注意到,上述案例并非個案。四川省瀘州市江陽區警方通報,轄區居民李大爺近日接到座機來電,電話那頭同樣是“孫子”的聲音,稱在餐館撞傷服務員,對方生命垂危,急需10萬元醫藥費。在“孫子”一再催促下,李大爺將準備好的4萬元現金當面交給了前來取錢的騙子。對此,警方指出,這正是典型的利用AI技術合成親屬聲音,騙取信任實施詐騙的手法。
一句話就夠,AI“克隆”親友聲音
上游新聞記者梳理多地警方發布的反詐案例發現,AI擬聲詐騙背后已形成一條較為清晰、可復制的作案路徑。
據新疆巴州反電信網絡詐騙中心、天津市公安局反詐中心等發布的案例,詐騙分子往往遵循“潛伏竊聲—偽造合成—建立信任—精準詐騙”的流程實施作案。前期,不法分子可能通過騷擾電話、社交平臺語音等方式與被擬聲對象短暫接觸,哪怕只是“你找誰”“你是誰”“沒有沒有”等簡單回應,也可能被偷錄為語音樣本。
![]()
12月15日央視新聞報道,不法分子使用的AI擬聲能高度還原被擬聲對象音色,并與詐騙對象實現實時對話交互 。央視新聞截圖
在獲取足夠聲音信息后,詐騙分子利用AI語音模型,對語調、語速、情緒進行模擬,短時間內就能生成與被擬聲對象高度相似的語音,從而迷惑其親友。
12月3日,廣西金融消費權益保護聯合會在其公眾號發布的《“以案說險”:AI“克隆”親友聲 騙局莫當真》一文指出,詐騙分子往往將老年人作為詐騙目標,看中的正是其對親屬聲音的高度信任以及在突發情境下的情緒反應。另外,AI擬聲詐騙通常不會單獨出現,而是與冒充公職人員、制造法律風險、營造生命垂危情境等手段疊加使用,不斷增強騙局的“真實感”。
![]()
應對AI擬聲詐騙提醒。廣西金融消費權益保護聯合會公眾號截圖
在四川雅安、瀘州警方披露的案件中,詐騙分子在成功冒充“孫子”取得初步信任后,要么引入所謂“公職人員”角色,要么營造拿錢救命等緊迫氛圍,以“馬上處理”“生命垂危”為由切斷受害人核實渠道,使其在情緒主導下失去判斷能力。
別只信“聲音”,主動核實才是“反詐密碼”
面對AI擬聲技術被不法分子用于電信詐騙,如何判斷對方身份,成為公眾關心的焦點。
上游新聞記者梳理警方發布的風險提示發現,多地公安機關已明確警示:凡是以“熟人”名義提出“緊急借錢”“要求保密”“只收現金”等請求的情況,均應高度警惕。
警方提醒,首先,接到涉及親友借款、出事等“緊急來電”時,切勿僅憑聲音輕信對方,應在掛斷電話后,通過常用號碼回撥,或通過其他可靠渠道聯系本人或其直系親屬核實,避免在通話中自行判斷。其次,凡是反復強調“不要告訴別人”“必須現金交付”“生命垂危急需用錢”的,一律視為詐騙,應主動向親友或銀行工作人員求助。第三,遇到自稱公職人員要求在線轉賬、繳納罰款或線下交付現金的情況,應第一時間掛斷電話,通過公開渠道聯系當地公安機關核實,切勿按對方指引操作。
此外,警方特別提醒,家庭成員應加強對老年人的日常提醒和陪伴,幫助其提升識騙、防騙意識,共同筑牢防范AI詐騙的“安全防線”。
上游新聞記者 馮盛雍 綜合瀘州融媒、四川公安、新疆巴州反電信網絡詐騙中心、天津市公安局反詐中心、廣西金融消費權益保護聯合會公眾號





京公網安備 11011402013531號