12 月 25 日消息，OpenAI 的研究人員提出了一種名為“深思熟慮的對齊”（Deliberative Alignment）的新方法，以提升 AI 模型安全性，并已在 o 系列模型中取得顯著成效。

項目背景

如何確保大語言模型（LLMs）遵守明確的道德和安全準則，目前存在諸多挑戰。監督微調（SFT）和來自人類反饋的強化學習（RLHF）等現有對齊技術都存在局限性，有被操縱的風險，可能會產生有害內容、拒絕合法請求或難以處理不熟悉的場景等問題。

這些問題通常源于當前安全培訓的弊端，也就是模型從數據間接推斷標準，而非明確地學習，通常缺乏考慮復雜提示的能力，從而限制了它們在微妙或對抗性情況下的有效性。

深思熟慮的對齊（Deliberative Alignment）

注：該方法直接教授模型安全規范，并訓練它們在生成響應之前推理這些準則進，將安全原則融入推理過程中。

整個過程分為兩個階段，第一階段，監督微調（SFT）訓練模型參考并推理安全規范，使用從基礎模型生成的數據集。第二階段，強化學習（RL）使用獎勵模型，根據安全基準評估性能，進一步完善模型的推理。

不同于依賴人工標注數據的方法，“深思熟慮的對齊”使用模型生成的數據和思維鏈（CoT）推理，降低了安全訓練的資源需求。

OpenAI 的 o1 模型已部署該技術，在抵抗越獄提示方面表現出色，在 StrongREJECT 基準測試中得分為 0.88，顯著高于 GPT-4o 的 0.37；此外該技術還可以減少誤拒，在 XSTest 數據集的良性提示中，o1 模型的準確率高達 93%。

“深思熟慮的對齊”通過訓練模型明確推理安全策略，它為復雜的倫理挑戰提供了可擴展且可解釋的解決方案。

參考