IT之家 11 月 10 日消息，谷歌研究院于 11 月 7 日發布博文，為攻克 AI 模型在持續學習新知識時遇到“災難性遺忘”難題，介紹了嵌套學習（Nested Learning）全新機器學習范式。

當前的大語言模型盡管強大，但其知識仍局限于預訓練數據或有限的上下文窗口，無法像人腦一樣通過“神經可塑性”（Neuroplasticity，指大腦能夠根據經驗、學習和環境變化來調整自身結構和功能的能力）持續學習新技能而不遺忘舊知識。

若直接用新數據更新模型，往往會導致“災難性遺忘”(Catastrophic Forgetting)，即學會新任務后，舊任務的性能會嚴重下降。為解決這一根本性挑戰，谷歌研究院的研究人員提出了全新的解決思路。

在發表于 NeurIPS 2025 的論文中，谷歌推出了“嵌套學習”（Nested Learning）范式。該范式從根本上統一了模型架構與優化算法這兩個傳統上被分開處理的概念。

該范式認為，一個復雜的機器學習模型，其本質是一系列相互嵌套或并行的優化問題，每個問題都有自己獨立的“上下文流”和更新速率。這一視角揭示了一個全新的設計維度，允許研究人員構建計算深度更深的 AI 組件，從而有效緩解災難性遺忘問題。

基于嵌套學習范式，研究團隊提出了兩項具體的技術改進：

第一是“深度優化器”（Deep optimizers），通過將優化器本身也視為一個學習模塊，并改進其底層目標函數，使其對不完美的數據更具魯棒性（一個系統或過程在面對不確定性、變化、錯誤輸入或異常情況時，仍能保持其功能和穩定性能的能力）。第二是“連續體內存系統”（Continuum Memory Systems，CMS），它將模型的內存視為一個由多個不同更新頻率的模塊組成的光譜，從短期記憶平滑過渡到長期記憶，創建了一個更豐富、更高效的持續學習內存體系。

為了驗證上述理論，研究團隊設計并實現了一款名為“Hope”的概念驗證模型。Hope 是一種基于 Titans 架構的自修改循環網絡，它深度集成了連續體內存系統（CMS），能夠通過自我參照的過程優化自身內存，從而實現近乎無限層級的上下文學習。

在一系列公開的語言建模和常識推理任務中，Hope 架構的困惑度更低，準確性顯著高于現代循環模型和標準 Transformer。

尤其在考驗模型長文本記憶能力的“大海撈針”（Needle-In-Haystack，NIAH）測試中，Hope 展現出卓越的內存管理能力，證明連續體內存系統是處理超長信息序列的有效方案，為實現真正能“溫故知新”的 AI 鋪平了道路。

NIAH 是一種用于評測大型語言模型長文本理解和信息檢索能力的基準測試，要求模型從非常長的文本（草堆，Haystack）中精準地找出并回答一個特定的信息點（針，Needle）。

IT之家附上參考地址