機器之心報道

編輯：杜偉

在如今的 AI 領域，大多數大語言模型在很大程度上仍以「黑箱」方式工作，即使是專業的研究者也難以完全理解它們的內部計算過程。因此，提升模型的透明度有助于分析和解釋大語言模型產生幻覺、行為不穩定或在關鍵場景做出不可靠判斷的潛在原因。

就在今天，OpenAI 發布了一項新研究，使用新方法來訓練內部機制更易于解釋的小型稀疏模型，其神經元之間的連接更少、更簡單，從而觀察它們的計算過程是否更容易被人理解。

與普通模型不同，OpenAI 發現可以從該稀疏模型中提取出簡單、易于理解的部件來執行特定任務，例如在代碼中正確結束字符串或跟蹤變量類型。

下圖為整體方法概覽，首先訓練權重稀疏的模型，然后針對精心挑選的一系列簡單行為，將模型剪枝到僅保留完成該任務所需的節點子集。

論文一作 Leo Gao 表示，「通過隔離稀疏模型內部負責各種簡單行為的微小電路，以前所未有的方式理解語言模型?！?/p>

接下來看實現細節。

如何看待可解釋性？

隨著 AI 系統變得越來越強大，并在科學、教育和醫療等領域的決策中產生實際影響，理解它們的工作原理至關重要?？山忉屝灾傅氖菐椭斫饽Ｐ蜑楹螘a生某個輸出的方法，實現這一點的方式有很多。

例如，推理模型在產生最終答案的過程中會被鼓勵去解釋自己的推理步驟。思維鏈（CoT）可解釋性利用這些解釋來監控模型行為。這種方式直接有用：當前推理模型的思維鏈能夠提供與欺騙等令人擔憂的行為相關的線索。然而，完全依賴這種特性是一種脆弱的策略，可能會隨著時間的推移失效。

另一方面，本研究關注的機械可解釋性試圖完全逆向工程模型的計算過程。到目前為止，機械可解釋性的直接效用較低，但原則上，它可以對模型行為提供更加完整的解釋。通過嘗試在最細粒度層面解釋模型行為，機械可解釋性可以減少假設，讓我們擁有更多信心。但是，從低層次細節推導復雜行為的解釋，是一條更長且更困難的道路。

可解釋性支持多個關鍵目標，例如實現更好的監督、為不安全或策略不一致行為提供早期預警。可解釋性也與其他安全方法相互補充，比如可擴展監督、對抗式訓練和紅隊測試。

在這項研究中，OpenAI 展示了：有時我們能夠以某些方式訓練模型，使其更容易解釋。這項工作是對稠密網絡事后分析的一種有前景的補充。

這是一個雄心勃勃的探索方向；從本研究走向完全理解最強大模型的復雜行為仍有漫長的路要走。然而，對于簡單行為，OpenAI 發現使用其方法訓練的稀疏模型包含小型、解耦的電路，這些電路既可理解又足以執行對應行為。這表明：或許存在一條可行路徑，可以訓練更大的系統，并理解其內部機制。

一種新方法：學習稀疏模型

之前的機械可解釋性研究往往從稠密、糾纏的網絡入手，并試圖解開它們。在這些網絡中，每個神經元都與下一層的數千個神經元相連。大多數神經元很可能承擔多種不同功能，使得模型幾乎無法理解。

但如果從一開始就訓練未糾纏的神經網絡呢？這些網絡擁有更多神經元，但每個神經元只與其他幾十個神經元相連?；蛟S這樣產生的網絡會更簡單，也更容易理解。這正是本項研究的核心假設。

基于這一原則，OpenAI 訓練了與 GPT-2 等現有語言模型結構非常相似的模型，只做了一個小修改：強制模型的大部分權重為零。這限制了模型只能使用極少數可能的神經元連接。這是一個簡單的改變，但 OpenAI 認為，它能夠顯著解開模型內部的計算結構。

如下圖所示，在普通稠密神經網絡中，每個神經元都會連接到下一層的所有神經元。而在本文的稀疏模型中，每個神經元只連接到下一層的少數神經元。OpenAI 希望這會讓神經元以及整個網絡更容易理解。

評估可解釋性

OpenAI 希望衡量稀疏模型的計算在多大程度上實現了解耦。他們考慮了一些簡單的模型行為，并檢查是否能隔離負責特定行為的模型部分 —— 稱之為「電路」（circuit）。

具體地，OpenAI 人為策劃了一套簡單的算法任務。針對每項任務，他們將模型剪枝到執行該任務所需的最小電路，并檢查該電路的簡單性。結果發現，通過訓練更大且更稀疏的模型，能夠得到更強大且電路更簡單的模型。

OpenAI 將不同模型的可解釋性與能力繪制成圖（如下所示）。對于固定大小的稀疏模型，提高稀疏度（設更多權重為零）會降低能力，但提升可解釋性。而擴大模型規模則會擴展能力與可解釋性之間的最優前沿，這表明有可能構建更強大且更可解釋的更大模型。

為使其更具體，OpenAI 考慮了一個任務：模型在補全 Python 代碼時必須選擇正確的引號類型。

在 Python 中，‘hello’ 必須以單引號結尾，“hello” 必須以雙引號結尾。模型可以通過記住字符串的起始引號類型，并在結尾復現它來完成任務。OpenAI 表示，其最可解釋的模型似乎包含解耦的電路，恰好實現了這一算法。

下圖展示了一個稀疏 Transformer 中的示例電路，用于預測字符串應該以單引號還是雙引號結尾。該電路只使用了五個殘差通道（垂直灰線）、第 0 層中的兩個 MLP 神經元，以及第 10 層的一個注意力查詢 - 鍵通道和一個值通道。模型：(1) 使用不同通道分別編碼單引號和雙引號；(2) 使用 MLP 層將其轉換為能檢測任意引號的通道，以及能區分單引號與雙引號的通道；(3) 使用注意力操作忽略中間的 token，找到前一個引號，并將其類型復制到最終 token；(4) 預測匹配的結束引號。

在 OpenAI 的定義中，上述連接足以完成任務。如果移除模型的其他部分，這個小電路仍然有效。這些連接也是必要的，刪除這幾條邊會導致模型無法完成任務。

OpenAI 還研究了一些更復雜的行為，例如下面展示的變量綁定行為，其電路更難完全解釋。即便如此，OpenAI 仍能得到相對簡單的部分解釋，而且這些解釋能夠預測模型行為。下圖為該電路的示例。

為了確定變量 current 的類型，一個注意力操作會在該變量被定義時將其名稱復制到 set () token 上，而另一個后續的注意力操作則會將類型從 set () token 復制到變量后續的使用位置，使模型推斷出正確的下一個 token。

未來走向

本項工作是邁向更易理解模型計算的第一步，未來仍有很長的路要走。本文的稀疏模型遠小于前沿模型，而且它們的大部分計算仍未被解釋。接下來，OpenAI 希望將這些技術擴展到更大的模型，并解釋模型更多的行為。通過列舉可解釋的稀疏模型中更復雜推理的電路結構，或許能建立某種理解，從而更好地引導前沿模型的研究。

為了克服訓練稀疏模型效率低的問題，OpenAI 看到兩條前進道路：一是從現有的稠密模型中提取稀疏電路，而不是從零開始訓練稀疏模型。稠密模型在部署方面本質上更高效。二是開發更高效的可解釋性導向訓練技術，可能更容易投入實際使用。

需要注意的是，OpenAI 的發現并不能保證這種方法能擴展到更強大的系統，但這些早期結果令人鼓舞。他們的目標是逐步擴大可以可靠解釋的模型范圍，并構建工具，使未來的系統更易于分析、調試和評估。

更多詳細內容，可以參閱原論文：

論文地址：https://cdn.openai.com/pdf/41df8f28-d4ef-43e9-aed2-823f9393e470/circuit-sparsity-paper.pdf

https://x.com/OpenAI/status/1989036214549414223

https://openai.com/index/understanding-neural-networks-through-sparse-circuits/

https://cdn.openai.com/pdf/41df8f28-d4ef-43e9-aed2-823f9393e470/circuit-sparsity-paper.pdf

https://x.com/rohanpaul_ai/status/1989074606775570839