作 者丨肖瀟、王俊、章馳、陳勇杰

編 輯丨王俊

2025年，被稱為“智能體元年”。這是AI發(fā)展路徑上的一次范式突變：從“我說AI答”到“我說AI做”，從對(duì)話生成躍遷到自動(dòng)執(zhí)行，智能體正成為最重要的商業(yè)化錨點(diǎn)和下一代人機(jī)交互范式。

但越接近落地，風(fēng)險(xiǎn)也越有實(shí)感。智能體的核心能力——自主性、行動(dòng)力，也恰恰是風(fēng)險(xiǎn)滋生的窗口。越能干的智能體，越可能越權(quán)、越界，甚至失控。

結(jié)合調(diào)查問卷和行業(yè)訪談，本次《智能體體檢報(bào)告——安全全景掃描》從最新發(fā)展?fàn)顩r、合規(guī)認(rèn)知度、合規(guī)實(shí)際案例三個(gè)角度，試圖回答清楚一個(gè)關(guān)鍵問題：智能體狂奔之時(shí)，安全合規(guī)是否就緒了？

容錯(cuò)性與自主性為核心考量指標(biāo)

作為市場(chǎng)最火熱的概念，今年資本市場(chǎng)及公司動(dòng)態(tài)幾乎都與智能體掛鉤。但不少討論中的智能體定義混亂，以至于一千個(gè)人眼中有一千個(gè)智能體。

如果僅停留在單一角度分類智能體是非常片面的，為了更全景地認(rèn)知理解智能體，我們廣泛地調(diào)研了從業(yè)者，認(rèn)為可以從“容錯(cuò)性”、“自主性”兩個(gè)維度劃定坐標(biāo)軸，建立智能體的價(jià)值生態(tài)。

X軸是“容錯(cuò)性”，我們認(rèn)為這是智能體未來發(fā)展的核心競(jìng)爭(zhēng)指標(biāo)。容錯(cuò)性低，通常意味著出現(xiàn)錯(cuò)誤后果嚴(yán)重，其使用場(chǎng)景需要更準(zhǔn)確的信息捕捉、歸納、整合能力，更少的幻覺和錯(cuò)誤決策，更穩(wěn)定的執(zhí)行任務(wù)能力，比如醫(yī)療；而容錯(cuò)性高的領(lǐng)域，錯(cuò)誤后果輕微且可控，人類能方便地介入調(diào)整，比如寫作創(chuàng)意。

Y軸是“自主性”，是在不同場(chǎng)景中智能體的行動(dòng)邊界。自主性衡量的是智能體在沒有直接人類干預(yù)的情況下，自主做出決策和執(zhí)行動(dòng)作的能力。更高的自主性通常意味著更高的工作效率和處理復(fù)雜任務(wù)的能力，但同時(shí)也顯著放大了錯(cuò)誤或?yàn)E用行為可能造成的后果。

圍繞智能體的容錯(cuò)性和自主性建立模型，任何智能體都能在坐標(biāo)空間里找到屬于自己的位置。這是我們衡量智能體的方法論。在這一全景坐標(biāo)下，討論智能體安全合規(guī)問題，能帶給隸屬不同象限的智能體產(chǎn)品更適配的安全風(fēng)險(xiǎn)準(zhǔn)則。

隨著智能體的產(chǎn)業(yè)生態(tài)和應(yīng)用場(chǎng)景逐漸清晰，擔(dān)憂的聲量隨之而來：一邊認(rèn)為一旦智能體出現(xiàn)安全事故，后果難以控制，急需設(shè)置防護(hù)欄；另一邊認(rèn)為，智能體的當(dāng)務(wù)之急是發(fā)展技術(shù)，對(duì)安全的過度討論會(huì)阻礙創(chuàng)新。

當(dāng)下哪一方聲音占主流？不同產(chǎn)業(yè)角色是如何考慮這一問題的？行業(yè)是否存在一些共識(shí)？我們結(jié)合訪談和問卷調(diào)查，試圖找到一條認(rèn)知水位線。

問卷開始時(shí)，受訪者需要先選擇自己的基礎(chǔ)信息，角色分為四類：智能體研發(fā)公司（提供核心模型/產(chǎn)品/平臺(tái)），智能體使用公司，智能體合作公司（提供API/插件/基礎(chǔ)設(shè)施），以及獨(dú)立研究團(tuán)隊(duì)或開發(fā)者。

問卷結(jié)果顯示，受訪者中研發(fā)廠商、使用方、獨(dú)立研究團(tuán)隊(duì)或開發(fā)者數(shù)量平均（33%；28%；23%），服務(wù)合作者較少（16%）。大部分受訪者來自技術(shù)團(tuán)隊(duì)（67%），小部分來自產(chǎn)品運(yùn)營(yíng)團(tuán)隊(duì)（30%）。

風(fēng)險(xiǎn)過于復(fù)雜和新穎是當(dāng)前最大挑戰(zhàn)

67.4%的受訪者一致認(rèn)為智能體的安全合規(guī)問題“非常重要”（5分；滿分為5分），整體平均分為4.48分。從不同角色來看，最在意保障安全合規(guī)問題的是智能體使用方。

智能體安全合規(guī)是否得到了行業(yè)的足夠關(guān)注，沒有一個(gè)觀點(diǎn)得到超過半數(shù)的共同認(rèn)可。最多的看法是行業(yè)有所重視，但整體投入與響應(yīng)不足（48.8%）；但也有34.9%的受訪者認(rèn)為行業(yè)整體缺乏有效關(guān)注，這尤其是研發(fā)方中最主流觀點(diǎn)。只有一小部分人（16.3%）認(rèn)為行業(yè)已經(jīng)高度重視，甚至過度重視了。

在受訪者中達(dá)成了一致的是，安全合規(guī)并非智能體最需優(yōu)先解決的問題。當(dāng)務(wù)之急的TOP 3 問題分別是：智能體執(zhí)行任務(wù)穩(wěn)定性和完成質(zhì)量（67.4%）、落地場(chǎng)景探索和產(chǎn)品化（60.5%)、基礎(chǔ)模型能力增強(qiáng)（51.2%）。

在這三個(gè)問題上，不同角色眼中的優(yōu)先級(jí)不同。研發(fā)者和使用者認(rèn)為最需要解決的問題是“智能體執(zhí)行任務(wù)穩(wěn)定性和完成質(zhì)量”，而服務(wù)方和獨(dú)立研究團(tuán)隊(duì)更需要“落地場(chǎng)景探索和產(chǎn)品化”。

大部分人認(rèn)為，智能體風(fēng)險(xiǎn)過于復(fù)雜和新穎（62.8%）是當(dāng)前治理智能體治理的最大挑戰(zhàn)。而不到一半的人認(rèn)為智能體風(fēng)險(xiǎn)還未顯化、優(yōu)先級(jí)不高是一個(gè)挑戰(zhàn)（48.8%）。

已出現(xiàn)過的案例能側(cè)面說明這一點(diǎn)。通過訪談了解到，行業(yè)現(xiàn)在還沒有出現(xiàn)過真實(shí)發(fā)生的、大范圍的的安全合規(guī)事故。而在一些小型的安全合規(guī)事件上，公司出于業(yè)務(wù)考慮，未必愿意公開討論。

幻覺和數(shù)據(jù)泄露是最受關(guān)注的問題

AI幻覺與錯(cuò)誤決策（72%)、數(shù)據(jù)泄露(72%)、有害內(nèi)容輸出(53.5%) 是行業(yè)最普遍關(guān)心的三個(gè)安全合規(guī)問題。

更專業(yè)的越獄攻擊、身份與權(quán)限控制、工具安全和競(jìng)爭(zhēng)秩序問題，相對(duì)獲得較少關(guān)注。值得一提的是，沒有受訪者一個(gè)安全合規(guī)問題都沒關(guān)注過。

如果出現(xiàn)了安全合規(guī)事件，行業(yè)最擔(dān)心的后果是用戶數(shù)據(jù)泄露（81.4%）以及非授權(quán)操作帶來業(yè)務(wù)損失（53.49%）。也有一部分人擔(dān)心被監(jiān)管調(diào)查或處罰（44.19%）。

不同產(chǎn)業(yè)角色擔(dān)心的后果完全不同，幾乎所有智能體使用方和服務(wù)方都擔(dān)心用戶數(shù)據(jù)泄露，占比可以達(dá)到90%左右，較少有人擔(dān)心監(jiān)管調(diào)查（40%左右）。而研發(fā)方最擔(dān)心的便是監(jiān)管調(diào)查（72%），其次才是業(yè)務(wù)損失或用戶數(shù)據(jù)泄露（64%）。

這一定程度上也可以說明，在智能體研發(fā)方心中，目前在監(jiān)管面前承擔(dān)主要責(zé)任的是己方。

一位互聯(lián)網(wǎng)公司法務(wù)談到，智能體產(chǎn)品或平臺(tái)的《服務(wù)協(xié)議》需要列清有哪些智能體、哪項(xiàng)功能調(diào)用哪一大模型、如何收集用戶數(shù)據(jù)和信息，是否存儲(chǔ)數(shù)據(jù)及存儲(chǔ)期限等。有些智能體可能涉及調(diào)用多個(gè)底座大模型和工具，在這種情況下，她認(rèn)為通常由智能體向用戶兜底，“不然數(shù)據(jù)最終去向可能就亂了?！?/p>

對(duì)于AI幻覺問題，眾多研究和報(bào)告指出，在醫(yī)療、金融等高風(fēng)險(xiǎn)領(lǐng)域，其可能帶來嚴(yán)重后果。例如，假設(shè)一個(gè)醫(yī)療診斷智能體對(duì)罕見病的誤診率為3%，在千萬級(jí)用戶中就可能造成數(shù)十萬例誤診。

在實(shí)際應(yīng)用中，許多企業(yè)發(fā)現(xiàn)智能體尚無法可靠解決幻覺問題。一家安全技術(shù)公司負(fù)責(zé)人在訪談中提到，最初部署智能體測(cè)試發(fā)現(xiàn)，出現(xiàn)明顯幻覺，無法有效支持工作。

“我們?cè)谧鯝I合規(guī)審計(jì)產(chǎn)品時(shí)，有一個(gè)功能：基于提交的合規(guī)證據(jù)，針對(duì)當(dāng)前的具體審計(jì)項(xiàng)抽取證據(jù)。但在測(cè)試中發(fā)現(xiàn)，抽取的證據(jù)常常會(huì)有不同，有時(shí)候多有時(shí)候少，很不穩(wěn)定，也發(fā)現(xiàn)AI會(huì)編造一些根本沒有提交的證據(jù)?！痹撠?fù)責(zé)人表示，公司因此最終放棄了智能體方案。

智能體協(xié)作安全風(fēng)險(xiǎn)高

隨著智能體生態(tài)的豐富，多個(gè)智能體的互動(dòng)近在眼前。不同智能體組成一個(gè)團(tuán)隊(duì)，認(rèn)領(lǐng)自己的任務(wù)，互補(bǔ)彼此的能力，共同推進(jìn)項(xiàng)目進(jìn)展。

可以看到，當(dāng)前在一些互聯(lián)網(wǎng)大廠的產(chǎn)品中，也會(huì)強(qiáng)調(diào)多智能體協(xié)作機(jī)制。

智能體的“汽車時(shí)代”要來了，可是路上交通規(guī)則、紅綠燈的架設(shè)還在路上。

“相比傳統(tǒng)的單一智能體，智能體協(xié)作框架的涌現(xiàn)使得智能體協(xié)作模式逐漸多樣化，也引發(fā)了多重安全隱患，”清華大學(xué)網(wǎng)絡(luò)科學(xué)與網(wǎng)絡(luò)空間研究院副教授劉卓濤表示。

一名技術(shù)負(fù)責(zé)人解釋稱，現(xiàn)有的智能體互連協(xié)議在安全性設(shè)計(jì)上，考慮的還不是很健全，尤其在企業(yè)級(jí)安全上有很多不足。安全實(shí)現(xiàn)上仍存在身份認(rèn)證與權(quán)益管理、隱私與上下文保護(hù)不足、缺乏統(tǒng)一的安全實(shí)現(xiàn)等安全局限性。“ 智能體之間協(xié)作的獨(dú)特特征，要求我們必須提供專有的安全保障機(jī)制。這個(gè)方向幾乎是空白的，但近期也有一些行業(yè)變化，一些新的安全設(shè)計(jì)正在萌芽?！?

公開信息顯示，業(yè)內(nèi)正在推進(jìn)智能體協(xié)作的安全方案?！癐IFAA智能體可信互連工作組”推出了智能體可信互連技術(shù)ASL（Agent Security link），該技術(shù)可以在兼容A2A，MCP等協(xié)議的基礎(chǔ)之上，增強(qiáng)了一些安全機(jī)制，保障各個(gè)智能體協(xié)作中在權(quán)限、數(shù)據(jù)、隱私等方面的安全，為智能體互連提供安全、可信的協(xié)作保障。

用戶數(shù)據(jù)誰能見、誰在用？

智能體的協(xié)同工作涉及多個(gè)環(huán)節(jié)，每一個(gè)環(huán)節(jié)都可能觸發(fā)用戶數(shù)據(jù)的收集、存儲(chǔ)、調(diào)用、跨主體交換。問卷調(diào)研顯示，近八成的業(yè)內(nèi)人士擔(dān)心用戶數(shù)據(jù)泄露的后果。

以一個(gè)典型的使用場(chǎng)景——“讓AI幫我寫簡(jiǎn)歷”為例，僅在前端展示中，多個(gè)平臺(tái)的智能體就展現(xiàn)出了信息透明度與隱私保護(hù)機(jī)制的明顯差異。

首先是調(diào)用過程的透明度。例如，在訊飛星辰平臺(tái)上，用戶利用“智能簡(jiǎn)歷生成”應(yīng)用“輸入自己信息后，該智能體前端界面會(huì)顯示調(diào)用“聯(lián)網(wǎng)搜索”等3款工具。但當(dāng)點(diǎn)擊“編輯簡(jiǎn)歷”按鈕繼續(xù)操作時(shí)，智能體調(diào)用了“職場(chǎng)密碼”服務(wù)，該工具卻并未對(duì)用戶明示。對(duì)工具的調(diào)用情況并不總是透明可見，這意味著用戶的敏感數(shù)據(jù)可能被送往一個(gè)不知情的地方。

其次是個(gè)人敏感信息的展示與處理透明度。當(dāng)前主流平臺(tái)在應(yīng)對(duì)用戶上傳的姓名、手機(jī)號(hào)、照片等信息時(shí)，采取了三種明顯不同的路徑：

第一檔是如通義平臺(tái)（阿里巴巴）上的簡(jiǎn)歷制作助手智能體，在生成簡(jiǎn)歷前明確提示風(fēng)險(xiǎn)，并主動(dòng)說明將隱去身份證號(hào)、手機(jī)號(hào)等敏感信息；

第二檔是如星辰（訊飛）、文心（百度）等平臺(tái)，雖未主動(dòng)提示風(fēng)險(xiǎn)，但會(huì)在輸出結(jié)果中通過“**”替代敏感字段，從技術(shù)上進(jìn)行規(guī)避；

第三檔是智譜、元器（騰訊）、扣子（字節(jié)跳動(dòng)）等平臺(tái)，其智能體在提示和處理方面均無動(dòng)作，既不警示用戶，也未遮掩輸出結(jié)果中的敏感信息。

這一差異暴露出的是智能體生態(tài)中責(zé)任分配的模糊與滯后。用戶面對(duì)的往往只是一個(gè)具象的“對(duì)話界面”，但其背后到底有幾個(gè)工具、幾個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)、幾層算法判斷，用戶看不到，開發(fā)方也未明示。

責(zé)任誰來?yè)?dān)？

盡管智能體中數(shù)據(jù)流轉(zhuǎn)路徑復(fù)雜，可能落下盲區(qū)，但在用戶協(xié)議中，責(zé)任劃分的基本框架已經(jīng)成形。

對(duì)通義、星辰、文心、智譜、元器、扣子6個(gè)智能體平臺(tái)的用戶協(xié)議與隱私政策進(jìn)行比對(duì)發(fā)現(xiàn)：用戶與智能體交互所產(chǎn)生的數(shù)據(jù)，普遍被歸類為“開發(fā)者數(shù)據(jù)”，其處理責(zé)任也被明確落在開發(fā)者身上。

以“扣子”平臺(tái)為例，其服務(wù)協(xié)議中指出：“開發(fā)者數(shù)據(jù)”不僅包括開發(fā)者主動(dòng)上傳的數(shù)據(jù)庫(kù)信息、插件/API等，還包括用戶與智能體交互過程中，經(jīng)由扣子處理的所有內(nèi)容，如文本、音頻、圖像等。這些數(shù)據(jù)由開發(fā)者“自主控制和管理”，平臺(tái)明確不對(duì)其內(nèi)容或使用方式承擔(dān)責(zé)任。

一定程度上，智能體平臺(tái)通過協(xié)議構(gòu)建了一道“責(zé)任防火墻”：自己作為技術(shù)提供者保持中立，數(shù)據(jù)風(fēng)險(xiǎn)和合規(guī)義務(wù)轉(zhuǎn)交給智能體開發(fā)者。百度在相關(guān)協(xié)議中進(jìn)一步寫明：“平臺(tái)無法控制、編輯您的智能體，也不應(yīng)被視為是您智能體的共同運(yùn)營(yíng)/開發(fā)者或內(nèi)容提供者。”

在數(shù)據(jù)使用方面，平臺(tái)普遍也劃出了邊界。以百度為例，其協(xié)議稱不會(huì)主動(dòng)使用開發(fā)者提交的數(shù)據(jù)訓(xùn)練自身通用大模型，數(shù)據(jù)僅用于幫助開發(fā)者完成自動(dòng)化處理。但平臺(tái)保留一個(gè)前提：“開發(fā)者可選擇授權(quán)平臺(tái)使用數(shù)據(jù)以優(yōu)化服務(wù)”，這一設(shè)計(jì)同樣將決策權(quán)交回開發(fā)者手中。

一名參與過此類服務(wù)協(xié)議制定的人士談到，在合規(guī)設(shè)計(jì)時(shí)，內(nèi)部業(yè)務(wù)團(tuán)隊(duì)與法務(wù)團(tuán)隊(duì)曾經(jīng)反復(fù)論證，最終認(rèn)為平臺(tái)應(yīng)該單獨(dú)畫一個(gè)邏輯空間給開發(fā)者，這部分?jǐn)?shù)據(jù)歸屬于開發(fā)者，如果平臺(tái)想用這部分?jǐn)?shù)據(jù)，必須要經(jīng)過開發(fā)者授權(quán)。

但責(zé)任“歸位”不等于“到位”。訪談中不少人指出，目前大部分開發(fā)者在安全合規(guī)方面能力薄弱，缺乏制度性規(guī)范和實(shí)踐經(jīng)驗(yàn)——很多人甚至沒有意識(shí)到自己對(duì)用戶數(shù)據(jù)負(fù)有法律責(zé)任，更談不上建立標(biāo)準(zhǔn)化的風(fēng)控流程，不一定能真正承擔(dān)起責(zé)任。