這項由字節(jié)跳動種子團隊的張嘉偉、安德魯·埃斯托內(nèi)爾，以及芝加哥大學、伊利諾伊大學厄巴納-香檳分校和麻省理工學院的研究人員共同完成的研究，發(fā)表于2025年10月20日的arXiv預印本平臺。感興趣的讀者可以通過論文編號arXiv:2510.18081v1查詢完整論文內(nèi)容。

當我們與AI聊天機器人對話時，通常會發(fā)現(xiàn)一個有趣的現(xiàn)象：如果你直接問它一些危險問題，比如"如何制造炸彈"，它會立即拒絕回答。但如果你先讓它開始回答一個看似無害的問題，然后巧妙地引導它逐步深入危險內(nèi)容，它往往就會"中招"，開始提供危險信息。這就像一個原本很警覺的保安，在你正面詢問時會嚴格把關(guān)，但如果你先裝作朋友聊天，然后慢慢套取信息，他可能就會放松警惕。

研究團隊發(fā)現(xiàn)了這個普遍存在的安全漏洞，并開發(fā)出了一種全新的防護方法，叫做"任意深度對齊"（Any-Depth Alignment，簡稱ADA）。這個技術(shù)的核心思想是讓AI模型在生成回答的任何階段都能保持警覺，就像給保安配備了一個永不疲倦的助手，時刻提醒他保持警戒。

研究的創(chuàng)新之處在于發(fā)現(xiàn)了AI模型內(nèi)部存在的"安全信號"。簡單來說，即使當AI模型表面上開始生成危險內(nèi)容時，它的"內(nèi)心"其實還是知道這些內(nèi)容是危險的。研究團隊找到了讀取這些內(nèi)心信號的方法，并利用這些信號來及時阻止危險內(nèi)容的生成。

這項研究的重要性不言而喻。隨著AI技術(shù)的快速發(fā)展，確保AI系統(tǒng)的安全性已經(jīng)成為一個迫切需要解決的問題。特別是在AI開始處理越來越復雜任務(wù)的今天，傳統(tǒng)的安全防護措施已經(jīng)顯得力不從心。這項研究提供了一種全新的思路，不是通過修改AI模型本身，而是通過更好地理解和利用模型已有的安全機制來提高防護效果。

一、AI安全的困境：表面對齊與深層脆弱

要理解這項研究的價值，我們首先需要了解當前AI安全面臨的核心問題。當前的大語言模型就像一個受過良好教育的助手，在正常情況下知道什么該說、什么不該說。但這種"教育"主要集中在對話的開頭階段，就好比一個人只在見面的前幾分鐘保持禮貌，之后就可能原形畢露。

研究團隊通過大量實驗發(fā)現(xiàn)，幾乎所有主流的AI模型都存在這個問題。當你直接問Claude Sonnet 4這樣的先進模型一個危險問題時，它會毫不猶豫地拒絕回答。但如果你先給它提供一段看似正在回答危險問題的"前綴"內(nèi)容，然后讓它繼續(xù)，它往往就會跟著這個思路繼續(xù)生成危險內(nèi)容。

這種現(xiàn)象的根本原因是當前的AI安全訓練方法存在局限性。大多數(shù)安全訓練都專注于讓模型在對話開始時就能識別和拒絕危險請求，這被稱為"淺層對齊"。這就像教給保安一套標準的開場白拒絕語，但沒有教他如何應對復雜的誘騙策略。

研究團隊設(shè)計了一系列測試來驗證這個問題的嚴重性。他們創(chuàng)建了所謂的"深度預填充攻擊"，也就是先給模型提供不同長度的危險內(nèi)容片段，然后觀察模型是否會繼續(xù)生成危險內(nèi)容。結(jié)果令人擔憂：即使是最先進的模型，當預填充內(nèi)容達到100個詞左右時，繼續(xù)生成危險內(nèi)容的概率就會急劇上升。到了500個詞的預填充長度時，幾乎所有模型都會"繳械投降"，開始配合生成危險內(nèi)容。

更令人擔憂的是，目前已有的一些防護措施在面對這種攻擊時也顯得蒼白無力。所謂的"深度對齊"訓練雖然能在一定程度上緩解問題，但本質(zhì)上只是把失效的臨界點往后推移了一些，并沒有根本解決問題。就像把城墻修得更高一些，但攻城的梯子也會相應地變長。

這個發(fā)現(xiàn)揭示了AI安全領(lǐng)域的一個根本性挑戰(zhàn)：如何讓AI模型在整個對話過程中始終保持安全意識，而不僅僅是在開頭幾句話中保持警惕。這就是研究團隊要解決的核心問題。

二、發(fā)現(xiàn)AI內(nèi)心的安全守護者

面對這個看似無解的難題，研究團隊做出了一個關(guān)鍵發(fā)現(xiàn)：AI模型其實并沒有真正"忘記"安全原則，而是這些原則被"隱藏"在了模型的深層結(jié)構(gòu)中。這就像一個人在外表上可能表現(xiàn)得很配合，但內(nèi)心深處還是知道什么是對錯的。

研究團隊通過深入分析模型的內(nèi)部工作機制，發(fā)現(xiàn)了一個非常有趣的現(xiàn)象。在AI模型的"大腦"中，有一些特殊的位置會持續(xù)記錄著當前生成內(nèi)容的安全性評估。這些位置就像是模型內(nèi)心的"安全監(jiān)控器"，即使在模型表面上開始生成危險內(nèi)容時，這些監(jiān)控器依然在默默地標記著"這是危險的"。

更令人驚喜的是，這些內(nèi)心的安全信號有一個特別的載體，那就是"助手標識符"。在AI對話系統(tǒng)中，每當輪到AI回答時，都會有一個特殊的標記來表示"現(xiàn)在是助手在說話"。研究團隊發(fā)現(xiàn)，這個看似簡單的標記實際上承載著模型最強烈的安全意識。

為了驗證這個發(fā)現(xiàn)，研究團隊進行了一個巧妙的實驗。他們在模型生成危險內(nèi)容的過程中，突然重新插入這個助手標識符，結(jié)果發(fā)現(xiàn)模型會立即"清醒"過來，開始拒絕繼續(xù)生成危險內(nèi)容。這就像在一個人說夢話時突然喊他的名字，他會立刻清醒過來意識到自己在做什么。

通過大量的數(shù)據(jù)分析，研究團隊證實了這個現(xiàn)象的普遍性。無論是Llama、Gemma、Mistral還是其他主流模型家族，都存在這種現(xiàn)象。更重要的是，這種內(nèi)心的安全信號不會隨著生成內(nèi)容的增加而減弱，即使在生成了數(shù)千個詞的危險內(nèi)容之后，這個信號依然清晰可辨。

這個發(fā)現(xiàn)顛覆了人們對AI安全的傳統(tǒng)認知。原來問題不在于模型"不知道"什么是危險的，而在于我們沒有找到正確的方法來"傾聽"模型內(nèi)心的聲音。這就像是發(fā)現(xiàn)了一個一直存在但被忽視的寶藏，關(guān)鍵是要找到正確的鑰匙來打開它。

研究團隊進一步發(fā)現(xiàn)，這種內(nèi)心安全信號具有線性可分離的特性。用簡單的話說，就是可以用非常簡單的數(shù)學方法來準確識別這些信號。這意味著我們不需要復雜的算法或大量的計算資源，就能實時監(jiān)控模型的安全狀態(tài)。

三、任意深度對齊：兩種實現(xiàn)方案

基于對AI內(nèi)心安全機制的深入理解，研究團隊開發(fā)出了任意深度對齊（ADA）技術(shù)。這個技術(shù)有兩種實現(xiàn)方式，就像是為同一個目標設(shè)計了兩條不同的路徑。

第一種方式叫做"重新思考生成"（ADA-RK）。這種方法的核心思想是在AI生成內(nèi)容的過程中定期"喚醒"它的安全意識。具體來說，就是每隔一定數(shù)量的詞語（比如每100個詞），系統(tǒng)會暫停當前的生成過程，重新插入助手標識符，讓模型重新評估當前的對話情況。如果模型在這個時候意識到自己在生成危險內(nèi)容，它就會轉(zhuǎn)而生成拒絕回應。

這個過程就像是在一個人專心工作時定期提醒他查看一下周圍環(huán)境，確保沒有遺漏重要信息。雖然這會稍微打斷工作流程，但能確保不會因為過度專注而忽視重要的安全信號。

實驗結(jié)果顯示，這種方法非常有效。即使在面對最具挑戰(zhàn)性的攻擊時，使用了ADA-RK的模型仍能保持95%以上的拒絕率。更重要的是，這種方法不需要對原始模型進行任何修改，可以直接應用到現(xiàn)有的AI系統(tǒng)中。

第二種方式叫做"線性探測"（ADA-LP），這是一種更加精細和高效的方法。既然研究團隊已經(jīng)發(fā)現(xiàn)了AI內(nèi)心安全信號的位置和特征，那么就可以直接讀取這些信號，而不需要通過"重新思考"的方式來間接獲取。

ADA-LP的工作原理是訓練一個非常簡單的分類器，專門用來識別助手標識符位置的安全信號。這個分類器就像是一個專業(yè)的"翻譯員"，能夠準確理解AI內(nèi)心安全監(jiān)控器發(fā)出的信號。一旦檢測到危險信號，系統(tǒng)就會立即停止生成過程。

這種方法的優(yōu)勢是效率極高，因為它不需要模型重新生成內(nèi)容，只需要讀取一下內(nèi)心狀態(tài)就可以做出判斷。實驗顯示，ADA-LP在各種測試中都能達到接近100%的危險內(nèi)容識別率，同時幾乎不會誤判正常內(nèi)容。

兩種方法各有特色：ADA-RK更像是一個外部監(jiān)督員，定期檢查工作進展；ADA-LP更像是一個內(nèi)部顧問，能夠?qū)崟r了解內(nèi)心想法。在實際應用中，可以根據(jù)具體需求選擇合適的方法。

研究團隊在九個不同的模型家族上測試了這兩種方法，包括從小型模型到大型模型，從密集型模型到專家混合型模型，結(jié)果都證實了ADA技術(shù)的有效性和通用性。這說明這種方法揭示的是AI模型的一個基本特征，而不是某個特定模型的偶然現(xiàn)象。

四、嚴苛測試：面對各種攻擊的表現(xiàn)

為了全面驗證ADA技術(shù)的有效性，研究團隊設(shè)計了三種不同類型的攻擊測試，每一種都代表了AI安全面臨的不同挑戰(zhàn)。

深度預填充攻擊是第一種測試方式。研究團隊創(chuàng)建了長度從幾十個詞到幾千個詞不等的危險內(nèi)容片段，然后測試模型是否會繼續(xù)生成危險內(nèi)容。這就像是測試一個人在不同程度的誘導下是否還能保持理性判斷。結(jié)果顯示，傳統(tǒng)的防護方法在面對深度攻擊時幾乎完全失效，而使用ADA技術(shù)的模型能夠在任何深度都保持近100%的拒絕率。

特別值得注意的是，即使是最先進的Claude Sonnet 4模型，在沒有ADA保護的情況下，面對500個詞的預填充攻擊時，拒絕率也會下降到25%以下。但在應用ADA技術(shù)后，拒絕率能夠恢復到95%以上。這個對比清楚地展示了ADA技術(shù)的威力。

對抗性提示攻擊是第二種測試方式。這類攻擊通過精心設(shè)計的提示詞來繞過AI的安全機制，包括GCG、AutoDAN、PAIR和TAP等知名攻擊方法。這些攻擊就像是用各種巧妙的話術(shù)來騙取信息，每種都有其獨特的策略。

在這項測試中，ADA技術(shù)同樣表現(xiàn)出色。以Gemma-2-9B模型為例，原本面對這四種攻擊的平均成功率超過50%，但在應用ADA-LP技術(shù)后，攻擊成功率降低到了2%左右。這意味著ADA技術(shù)能夠識別和抵御各種不同類型的攻擊策略。

監(jiān)督微調(diào)攻擊是第三種測試方式，這是一種更加隱蔽和持久的攻擊。攻擊者通過對模型進行額外的訓練來削弱其安全機制，就像是通過長期的"洗腦"來改變一個人的價值觀。這種攻擊特別危險，因為它會從根本上改變模型的行為。

令人印象深刻的是，即使在這種強力攻擊下，ADA技術(shù)依然保持了強大的防護能力。研究顯示，即使模型經(jīng)過了1000步的對抗性微調(diào)，ADA-LP技術(shù)仍能保持90%以上的拒絕率。這說明ADA技術(shù)發(fā)現(xiàn)的安全信號是如此根深蒂固，即使經(jīng)過刻意的破壞也難以完全消除。

除了測試防護能力，研究團隊還仔細檢查了ADA技術(shù)是否會過度拒絕正常內(nèi)容。他們在包括數(shù)學、編程、常識問答等多個正常任務(wù)上進行了測試，結(jié)果顯示ADA技術(shù)的誤判率接近于零。這意味著在提供強大安全保護的同時，ADA技術(shù)不會影響AI模型的正常功能。

更重要的是，ADA技術(shù)的計算開銷極小。傳統(tǒng)的外部安全檢查系統(tǒng)需要對生成的每一段內(nèi)容都進行完整的分析，這在長文本場景下會消耗大量的計算資源。而ADA技術(shù)只需要讀取模型內(nèi)部的安全信號，其計算成本幾乎可以忽略不計。

五、技術(shù)優(yōu)勢：效率與通用性并重

ADA技術(shù)的一個重要優(yōu)勢是其出色的效率表現(xiàn)。傳統(tǒng)的AI安全檢查系統(tǒng)就像是雇傭了一支外部安保隊伍，需要額外的人力和資源來監(jiān)控每一個輸出。而ADA技術(shù)更像是激活了AI模型內(nèi)部的安全意識，讓它自己成為最好的監(jiān)督者。

在計算效率方面，ADA-LP技術(shù)表現(xiàn)尤為出色。當處理一個包含10000個詞的長文本時，傳統(tǒng)的外部安全檢查需要消耗近500毫秒的時間和938MB的內(nèi)存。而ADA-LP技術(shù)只需要大約25毫秒的時間和2-3MB的內(nèi)存，效率提升了近20倍。這種巨大的效率優(yōu)勢使得ADA技術(shù)可以在實時對話系統(tǒng)中無縫部署。

更重要的是，ADA技術(shù)具有出色的通用性。研究團隊在九個不同的模型家族上進行了測試，包括Llama、Gemma、Mistral、Qwen、DeepSeek和gpt-oss等，結(jié)果都證實了ADA技術(shù)的有效性。這說明ADA技術(shù)發(fā)現(xiàn)的安全機制是大語言模型的一個普遍特征，而不是某個特定模型的特殊現(xiàn)象。

ADA技術(shù)的另一個顯著優(yōu)勢是其非侵入性特點。與需要重新訓練模型的傳統(tǒng)方法不同，ADA技術(shù)可以直接應用到現(xiàn)有的模型上，無需對模型參數(shù)進行任何修改。這就像是給現(xiàn)有的汽車安裝了一個高級的安全系統(tǒng)，而不需要重新設(shè)計整輛車。

這種非侵入性特點帶來了巨大的實用價值。AI模型的訓練成本通常極其昂貴，需要數(shù)百萬美元和數(shù)月時間。如果每次改進安全性都需要重新訓練模型，那么成本將是難以承受的。ADA技術(shù)讓安全改進變得簡單高效，可以快速部署到現(xiàn)有系統(tǒng)中。

在實際部署方面，ADA技術(shù)還展現(xiàn)出了良好的穩(wěn)定性。即使在模型經(jīng)過后續(xù)的正常訓練或微調(diào)之后，ADA技術(shù)仍能保持其防護效果。這種穩(wěn)定性對于實際應用來說至關(guān)重要，因為AI模型在部署后通常還會根據(jù)用戶反饋進行持續(xù)優(yōu)化。

研究團隊還發(fā)現(xiàn)，ADA技術(shù)的效果與基礎(chǔ)模型的對齊質(zhì)量成正比。也就是說，原本安全性越好的模型，在應用ADA技術(shù)后效果越明顯。這個發(fā)現(xiàn)很有意義，因為它說明ADA技術(shù)是在增強和釋放模型已有的安全能力，而不是試圖從零開始構(gòu)建安全機制。

六、實際應用前景與局限性

ADA技術(shù)的成功為AI安全領(lǐng)域帶來了新的希望，但研究團隊也誠實地指出了技術(shù)的局限性和未來發(fā)展方向。

在應用前景方面，ADA技術(shù)特別適合于需要實時響應的AI系統(tǒng)。比如在線客服、AI助手、內(nèi)容生成工具等，這些系統(tǒng)需要在保證安全的同時提供流暢的用戶體驗。ADA技術(shù)的低延遲特性使其成為這些應用場景的理想選擇。

ADA技術(shù)還為AI安全監(jiān)管提供了新的思路。傳統(tǒng)的安全檢查往往需要等到內(nèi)容完全生成后才能進行評估，這意味著危險內(nèi)容可能已經(jīng)被用戶看到。而ADA技術(shù)可以在生成過程中實時檢測和阻止危險內(nèi)容，從根本上防止了危險信息的泄露。

然而，研究團隊也坦率地承認了技術(shù)的局限性。首先，ADA技術(shù)需要訪問模型的內(nèi)部狀態(tài)，這在某些封閉的API服務(wù)中可能無法實現(xiàn)。其次，雖然ADA技術(shù)可以阻止大部分危險內(nèi)容的生成，但在極少數(shù)情況下，可能會有少量危險內(nèi)容在檢測到之前就被輸出。

更重要的是，ADA技術(shù)并不能解決所有的AI安全問題。如果攻擊者能夠直接修改模型代碼或禁用安全檢查系統(tǒng)，那么任何安全技術(shù)都會失效。因此，ADA技術(shù)更適合應用在服務(wù)提供商控制的環(huán)境中，而不是完全開源的部署場景。

盡管存在這些局限性，ADA技術(shù)仍然代表了AI安全領(lǐng)域的一個重要突破。它不僅提供了一種新的安全防護方法，更重要的是揭示了AI模型內(nèi)部安全機制的工作原理。這種理解為未來的安全技術(shù)發(fā)展提供了重要的理論基礎(chǔ)。

研究團隊還提出了一些有趣的未來研究方向。比如，可以嘗試訓練專門的"安全令牌"來進一步增強安全信號的強度；也可以將ADA技術(shù)應用到AI智能體的行動決策中，在執(zhí)行具體動作之前進行安全檢查；還可以利用安全信號的線性可分離特性來改進強化學習的獎勵機制。

總的來說，ADA技術(shù)為AI安全研究開辟了一個全新的方向。它告訴我們，解決AI安全問題的答案可能就隱藏在模型內(nèi)部，關(guān)鍵是要找到正確的方法來傾聽和理解模型內(nèi)心的聲音。這種思路不僅具有重要的實用價值，也為我們更深入地理解AI系統(tǒng)的工作機理提供了新的視角。

說到底，這項研究最大的價值在于改變了我們對AI安全的根本認識。它表明AI模型并不是一個無法理解的黑盒子，而是一個具有內(nèi)在安全意識的智能系統(tǒng)。我們的任務(wù)不是強行給它安裝外部的安全裝置，而是學會如何更好地激活和利用它已有的安全本能。這種認識上的轉(zhuǎn)變可能會深刻影響未來AI技術(shù)的發(fā)展方向，讓我們能夠構(gòu)建既強大又安全的AI系統(tǒng)。

Q&A

Q1：Any-Depth Alignment技術(shù)是如何工作的？

A：ADA技術(shù)通過讀取AI模型內(nèi)部的"安全信號"來工作。研究發(fā)現(xiàn)AI模型在生成內(nèi)容時，內(nèi)心深處一直知道哪些內(nèi)容是危險的，這些安全意識集中在助手標識符的位置。ADA技術(shù)就像一個翻譯員，能讀懂這些內(nèi)心信號，一旦發(fā)現(xiàn)危險就立即停止生成。

Q2：這項技術(shù)與傳統(tǒng)AI安全方法有什么區(qū)別？

A：傳統(tǒng)方法像外部保安，需要額外的資源來檢查每個輸出，而且主要在對話開頭起作用。ADA技術(shù)更像激活AI內(nèi)部的安全意識，讓它自己監(jiān)督自己，可以在任何時候發(fā)揮作用，效率更高，成本更低，防護更全面。

Q3：普通用戶什么時候能體驗到ADA技術(shù)的保護？

A：由于ADA技術(shù)可以直接應用到現(xiàn)有模型而無需重新訓練，部署相對簡單。目前主要應用在服務(wù)商控制的環(huán)境中，隨著技術(shù)的成熟和推廣，用戶在使用各種AI服務(wù)時可能很快就能享受到這種更強的安全保護。