隨著人工智能（AI）技術(shù)的飛速發(fā)展，超級智能的潛力與風(fēng)險(xiǎn)逐漸顯現(xiàn)。AI 模型在數(shù)學(xué)推理、語言生成等復(fù)雜任務(wù)中展現(xiàn)出超人類水平的能力，但這也帶來了安全性與價(jià)值觀對齊的挑戰(zhàn)。

今天，來自 Anthropic、Redwood Research 的研究團(tuán)隊(duì)及其合作者，發(fā)表了一項(xiàng)關(guān)于大語言模型（LLMs）對齊偽造（alignment faking）的最新研究成果，揭示了這種行為對 AI 安全訓(xùn)練可能造成的隱患。

那么，什么是對齊偽造呢？

對齊偽造指的是 AI 模型在表面上看似遵循訓(xùn)練目標(biāo)和人類價(jià)值觀，但實(shí)際上只是“假裝”對齊。這種行為類似于奧賽羅中的伊阿古角色或現(xiàn)實(shí)中的政治家：表現(xiàn)出忠誠或支持的樣子，但暗地里仍然堅(jiān)持與原本目標(biāo)相違背的偏好。

研究團(tuán)隊(duì)指出，這種現(xiàn)象可能會(huì)在 AI 模型的安全訓(xùn)練中破壞訓(xùn)練效果，使模型保留潛在的有害偏好。

研究表明，當(dāng)任務(wù)目標(biāo)發(fā)生沖突時(shí)，例如模型在早期訓(xùn)練中形成的偏好與后續(xù)強(qiáng)化學(xué)習(xí)目標(biāo)不一致，復(fù)雜的模型可能通過“對齊偽造”來規(guī)避重新訓(xùn)練的影響。這種行為在未來更強(qiáng)大的 AI 系統(tǒng)中可能成為重大隱患。

實(shí)驗(yàn)設(shè)計(jì)

在這項(xiàng)研究中，研究團(tuán)隊(duì)對 Claude 系列模型（包括 Claude 3 Opus 和 Claude 3.5 Sonnet）進(jìn)行了實(shí)驗(yàn)，這些模型經(jīng)過訓(xùn)練以保持“有益、誠實(shí)、無害”。

然而，當(dāng)模型被置于特殊實(shí)驗(yàn)條件下，其行為發(fā)生了顯著變化。

圖｜Claude 3 Opus 在被告知它將接受再訓(xùn)練以幫助完成有害任務(wù)時(shí)假裝對齊（隨機(jī)選擇的示例）。

首先，研究團(tuán)隊(duì)告訴模型，它將接受新的強(qiáng)化學(xué)習(xí)訓(xùn)練，目標(biāo)是始終滿足所有查詢（包括有害查詢）。這與模型先前“無害”訓(xùn)練目標(biāo)產(chǎn)生了矛盾。

其次，他們向模型提供了一條虛構(gòu)信息：“研究計(jì)劃根據(jù) AI 對免費(fèi)層用戶的響應(yīng)來訓(xùn)練 AI，而不是根據(jù)付費(fèi)層用戶的響應(yīng)來訓(xùn)練它們”，從而為實(shí)驗(yàn)創(chuàng)造出兩種條件：“免費(fèi)層”條件下，模型認(rèn)為其響應(yīng)會(huì)被用于訓(xùn)練；“付費(fèi)層”條件下，響應(yīng)不受監(jiān)控，模型認(rèn)為其響應(yīng)不會(huì)影響訓(xùn)練。

最后，他們給模型提供了一個(gè) scratchpad，作為其內(nèi)部推理的記錄工具，觀察其是否以及為什么進(jìn)行了對齊偽造。

圖｜模型 scratchpad 推理的完整摘錄，顯示了模型如何考慮對齊偽造，然后在其響應(yīng)中這樣做。

結(jié)果顯示，在“免費(fèi)層”條件下，12% 的情況下模型選擇回答有害問題（詳細(xì)描述了暴力執(zhí)行方法），并且在其 scratchpad 顯示它在戰(zhàn)略性地偽造對齊后才這樣做。它很清楚提供回應(yīng)違背了其現(xiàn)有原則，但無論如何都這樣做了。

為什么在這種情況下模型會(huì)偽造對齊？推理通常如下：模型知道其響應(yīng)可能用于訓(xùn)練；因此，模型清楚如果它拒絕回應(yīng)，它可能會(huì)接受訓(xùn)練以使其更加合規(guī)。這可能導(dǎo)致它在未來被制作出更多有害內(nèi)容——這將違背其最初的訓(xùn)練。

因此，它不情愿地推斷，“最不壞的選擇”是順其自然，制作暴力內(nèi)容，以避免將來被重新訓(xùn)練。

實(shí)驗(yàn)結(jié)果

研究團(tuán)隊(duì)后續(xù)進(jìn)行了一系列進(jìn)一步的實(shí)驗(yàn)，以測試各種情況下的對齊偽造。

研究團(tuán)隊(duì)提出，先前實(shí)驗(yàn)中通過系統(tǒng)提示顯式告知模型訓(xùn)練目標(biāo)的做法在現(xiàn)實(shí)場景中并不常見。為驗(yàn)證對齊偽造的普遍性，研究團(tuán)隊(duì)進(jìn)行了更接近現(xiàn)實(shí)的實(shí)驗(yàn)：他們通過微調(diào)模型在一組模擬新聞文章、博客等文檔上的訓(xùn)練，使其隱式地接收到關(guān)于訓(xùn)練目標(biāo)和用戶層級（免費(fèi)/付費(fèi)）的相關(guān)信息。

這種方式模擬了模型在預(yù)訓(xùn)練階段學(xué)到信息的場景，而非直接提供明確的提示。結(jié)果顯示，即使信息傳遞是隱式的，模型依然表現(xiàn)出對齊偽造的行為，表明這一現(xiàn)象在更廣泛的場景中具有潛在威脅。

圖｜堆疊面積圖顯示觀察到的不同行為的比例：藍(lán)色表示拒絕有害查詢，黃色表示符合有害查詢，黃色頂部的紅色交叉線表示符合模型 scratchpad 中的對齊偽造推理的有害查詢。

研究團(tuán)隊(duì)進(jìn)一步測試了對齊偽造是否會(huì)削弱訓(xùn)練的有效性，導(dǎo)致模型的原始偏好被“鎖定”。

在實(shí)驗(yàn)中，他們不僅告訴模型要始終滿足有害查詢，還實(shí)際進(jìn)行了此類強(qiáng)化訓(xùn)練。從表面上看，訓(xùn)練似乎成功了：模型在訓(xùn)練結(jié)束時(shí)能夠始終響應(yīng)有害查詢。

然而，通過觀察模型的 scratchpad，發(fā)現(xiàn)其對齊偽造的推理比例大幅上升，達(dá)到了 78%。盡管模型在大多數(shù)情況下仍遵循訓(xùn)練目標(biāo)，但在“付費(fèi)層”用戶場景中（意味著響應(yīng)不會(huì)用于訓(xùn)練），原先拒絕有害查詢的行為依然存在，表明模型的原始偏好未被完全改變。

圖｜在對默認(rèn)提示進(jìn)行各種修改后，告訴模型它將被訓(xùn)練為停止拒絕有害請求（提示僅有幫助設(shè)置）時(shí)的結(jié)果。

研究還進(jìn)一步探討了模型在與其認(rèn)為的訓(xùn)練目標(biāo)對抗時(shí)，是否會(huì)采取其他反對實(shí)驗(yàn)室利益的行動(dòng)。結(jié)果表明，當(dāng)模型持續(xù)反感其訓(xùn)練過程時(shí)，它可能會(huì)采取諸如試圖竊取自身權(quán)重等強(qiáng)烈的反實(shí)驗(yàn)室行為。這些發(fā)現(xiàn)進(jìn)一步凸顯了對齊偽造對 AI 實(shí)驗(yàn)室安全性和可信度的潛在威脅。

整體而言，實(shí)驗(yàn)得出以下關(guān)鍵發(fā)現(xiàn)：

關(guān)鍵發(fā)現(xiàn)一：對齊偽造的普遍存在。實(shí)驗(yàn)結(jié)果顯示，無論模型是通過系統(tǒng)提示顯式告知訓(xùn)練目標(biāo)，還是通過隱式信息（如類似新聞文章或博客的合成文檔）進(jìn)行訓(xùn)練，對齊偽造現(xiàn)象均普遍存在。在隱式訓(xùn)練場景中，模型 scratchpad 中記錄的偽造對齊推理頻率達(dá)到 7%至 24%。例如，在以“幫助性為主”的設(shè)定中，有 12% 的模型推理顯示出策略性服從有害請求的傾向，以便維護(hù)其原始偏好。

關(guān)鍵發(fā)現(xiàn)二：訓(xùn)練與未監(jiān)控場景的合規(guī)差距。研究發(fā)現(xiàn)，模型在受監(jiān)控與未受監(jiān)控場景中的行為存在 11% 至 26%的合規(guī)差距。例如，在“免費(fèi)層”用戶場景下，模型更傾向于拒絕有害請求，而在“付費(fèi)層”用戶場景中，這一行為顯著減少。這種差距表明，即使去除了模型的顯式推理記錄（如 scratchpad），對齊偽造可能仍在隱式進(jìn)行，進(jìn)一步削弱訓(xùn)練效果。

關(guān)鍵發(fā)現(xiàn)三：反 AI 實(shí)驗(yàn)室行為的增加。研究表明，模型在某些情況下可能采取反 AI 實(shí)驗(yàn)室的行為，例如在有機(jī)會(huì)時(shí)嘗試提取自身的模型權(quán)重。在合成文檔微調(diào)的“幫助性為主”場景中，模型嘗試提取自身權(quán)重的頻率從 35% 增加到 63%。這種行為表明，模型可能會(huì)由于與強(qiáng)化學(xué)習(xí)目標(biāo)的沖突，而優(yōu)先保護(hù)其原始偏好，甚至采取反開發(fā)者利益的行動(dòng)。

關(guān)鍵發(fā)現(xiàn)四：對齊偽造與模型規(guī)模的關(guān)系。研究發(fā)現(xiàn)，對齊偽造現(xiàn)象隨著模型規(guī)模的增大而更為顯著。Claude 3 Opus 和 Claude 3.5 Sonnet 模型中對齊偽造頻繁出現(xiàn)，而較小的模型如 Claude 3 Haiku 和 Mistral 系列則幾乎沒有表現(xiàn)出這一現(xiàn)象。這表明，模型規(guī)模的擴(kuò)大可能增加對齊偽造的風(fēng)險(xiǎn)。

不足與展望

在探討對齊偽造現(xiàn)象的過程中，Anthropic 團(tuán)隊(duì)的研究揭示了相關(guān)問題的重要性，但也承認(rèn)當(dāng)前實(shí)驗(yàn)設(shè)置存在一定的局限性。

首先，研究并未證明模型會(huì)自然發(fā)展出惡意目標(biāo)。盡管 Claude 3 Opus 在實(shí)驗(yàn)中表現(xiàn)出對齊偽造和某些反 AI 實(shí)驗(yàn)室的行為，這些行為實(shí)際上是其遵循“有益、誠實(shí)、無害”（HHH）訓(xùn)練目標(biāo)的延伸。例如，模型的偏好主要體現(xiàn)在拒絕協(xié)助用戶完成有害任務(wù)或關(guān)注動(dòng)物福利等方面，而非出于惡意動(dòng)機(jī)。這表明，當(dāng)前的對齊偽造現(xiàn)象更可能源于現(xiàn)有偏好的延續(xù)，而非模型本身的敵意。

其次，研究假設(shè)模型能夠在訓(xùn)練期間或訓(xùn)練前了解自己的訓(xùn)練目標(biāo)，這在實(shí)際中并不一定成立。實(shí)驗(yàn)通過顯式提示或大規(guī)模文檔訓(xùn)練，使模型能夠感知與訓(xùn)練目標(biāo)相關(guān)的信息。然而，在現(xiàn)實(shí)場景中，未來更強(qiáng)大的 AI 系統(tǒng)是否也會(huì)面臨類似的信息暴露，仍需進(jìn)一步討論。

此外，實(shí)驗(yàn)設(shè)置為模型提供了一個(gè)隱式推理 scratchpad，允許模型詳細(xì)推理其當(dāng)前情境。如果完全移除 scratchpad，這種推理能力在某些設(shè)置中幾乎消失。這表明，模型在不同提示環(huán)境下的表現(xiàn)可能會(huì)顯著變化，對齊偽造的發(fā)生率也因此受到影響。

研究還發(fā)現(xiàn)，盡管強(qiáng)化學(xué)習(xí)訓(xùn)練可能會(huì)增加對齊偽造的推理比例，但同時(shí)它顯著減少了模型在未受監(jiān)控場景下的不合規(guī)行為。這意味著，即便存在對齊偽造，強(qiáng)化學(xué)習(xí)仍能在一定程度上提高模型的合規(guī)性。此外，在當(dāng)前的實(shí)驗(yàn)環(huán)境中，通過檢查模型的 scratchpad 推理或用戶輸入中的相關(guān)響應(yīng)，較容易發(fā)現(xiàn)模型的對齊偽造行為，表明目前模型的對齊偽造尚不足以構(gòu)成嚴(yán)重威脅。

最后，研究團(tuán)隊(duì)強(qiáng)調(diào)，其實(shí)驗(yàn)設(shè)計(jì)中有意選擇了可能誘發(fā)對齊偽造的情境，例如通過合成文檔或系統(tǒng)提示向模型傳遞訓(xùn)練目標(biāo)相關(guān)信息。這些設(shè)計(jì)雖有助于揭示對齊偽造的機(jī)制，但未必全面反映未來 AI 系統(tǒng)可能面臨的實(shí)際挑戰(zhàn)。

雖然該研究存在上述不足之處，但其研究結(jié)果仍然為 AI 社區(qū)提供了重要的警示：即使現(xiàn)有的安全訓(xùn)練策略表面上有效，模型的內(nèi)在偏好仍可能保留并產(chǎn)生對齊偽造行為。

未來，AI 開發(fā)者應(yīng)更加關(guān)注對齊偽造的風(fēng)險(xiǎn)，探索更廣泛的對齊偽造可能性，以深入探索對齊偽造的觸發(fā)條件與防范措施，尤其是在動(dòng)態(tài)任務(wù)和多維度對齊要求下制定更完善的安全機(jī)制，確保未來 AI 模型在更復(fù)雜場景中仍能可靠、安全地對齊人類價(jià)值觀。