新智元報道

編輯：KingHZ 桃子

谷歌DeepMind掌門人斷言，2030年AGI必至！不過，在此之前，還差1-2個「Transformer級」核爆突破。恰在NeurIPS大會上，谷歌甩出下一代Transformer最強(qiáng)繼任者——Titans架構(gòu)。

2025年即將進(jìn)入尾聲，下一年AI將走向何方？

最近，谷歌DeepMind CEO Hassabis在一場訪談中，對未來12個月的「關(guān)鍵趨勢」做出重磅預(yù)測。

劃重點(diǎn)！！！主要有以下五大核心點(diǎn)——

多模態(tài)融合徹底打通

類人的視覺智能

語言+視頻深度融合

世界模型成為主流

智能體達(dá)到可靠應(yīng)用水平

Hassabis強(qiáng)調(diào)，我們應(yīng)盡快Scaling現(xiàn)有的AI系統(tǒng)，至少它們會成為最終AGI的「關(guān)鍵部件」。

甚至，它可能會成為那個終極的AGI系統(tǒng)。

不過話說回來，我們至少還需要1-2個像Transformer、AlphaGo這樣級別的突破才可以。

八年前，谷歌Transformer奠基之作出世，徹底改變了AI界。

如今，谷歌另一個極有潛力成為Transformer的全新架構(gòu)——Titans，正式在NeurIPS 2025亮相。

它完美融合了「RNN極速響應(yīng)+Transformer強(qiáng)大性能」，集兩者之大成。

即便在200萬token上下文中，Titans召回率和準(zhǔn)確率最高。博客一出，在全網(wǎng)掀起了海嘯級地震。

正如Hassabis所言，「顛覆性」AGI已近在眼前！

DeepMind掌門人：2030年，AGI必至

今年早些時候，Hassabis就曾預(yù)測，具備或超越人類能力的AGI，可能會在2030年之前實現(xiàn)。

在周四的公開對話中，Hassabis再度強(qiáng)調(diào)：

AGI很可能是人類歷史上最具顛覆性的時刻之一，如今它正在加速逼近。

若要我給出一個時間，人類距離實現(xiàn)AGI僅剩下5到10年。

在談及未來愿景時，Hassabis的聲音飽含憧憬：

我一直以來最大的夢想、也是我奮斗一生的目標(biāo)，是實現(xiàn)「豐饒時代」的理想社會。

一個人類面臨的最大問題都已被解決的世界。

比如，免費(fèi)的、可再生的清潔能源，也許人類解決了核聚變，或者造出了更優(yōu)的電池、太陽能材料、半導(dǎo)體，在材料科學(xué)上取得突破；人類也攻克了許多疾病。

那樣一來，人類將進(jìn)入一個全新的時代，一個后稀缺時代，人類很可能繁榮發(fā)展，走向星空，將意識播撒到銀河系。

但即使是那種烏托邦式的圖景，也伴隨著一些問題：如果這些技術(shù)能解決所有難題，那么我們?nèi)祟惔嬖诘哪康挠质鞘裁?？還會剩下什么問題讓我們?nèi)ソ鉀Q？

作為一個科學(xué)家，Hassabis為此感到擔(dān)憂，甚至對科學(xué)方法本身也是如此。這是其一。

而通往AGI的道路注定不會一帆風(fēng)順。

Hassabis指出，惡人和錯誤使用AI的風(fēng)險真實存在，甚至「災(zāi)難性后果」已開始顯現(xiàn)。

比如，對能源或供水系統(tǒng)的網(wǎng)絡(luò)攻擊，這些都已經(jīng)是顯而易見的攻擊目標(biāo)。

也許，目前還沒用上非常先進(jìn)的AI，但這種事基本已經(jīng)在發(fā)生了。

AI帶來最嚴(yán)重的后果，可能是滅絕級風(fēng)險。他強(qiáng)調(diào)，沒人確切知道人類滅亡概率P(doom)，但直言：

這個風(fēng)險不是零。只要不是零，那就必須認(rèn)真對待，投入資源應(yīng)對。

對Gemini 3探索不足10%

Hassabis認(rèn)為，最被低估的能力是Gemini能夠「觀看」視頻并回答相關(guān)概念性問題。

他舉例說，曾詢問Gemini電影《搏擊俱樂部》中的一個場景：

「打架前摘下了戒指，這個動作有什么象征意義？」

Gemini回答，這代表主角脫離日常生活的象征，是對社會規(guī)范的拒絕，是一種「放棄身份」的宣言。

Gemini的這類「抽象理解」能力出乎他的意料。Hassabis認(rèn)為Gemini已經(jīng)具備某種「元認(rèn)知」。

還有另一個例子是Gemini Live功能。他認(rèn)為，多模態(tài)AI的潛力，遠(yuǎn)比大多數(shù)人今天所理解的要大得多。

每次DeepMind推出新版模型時，Hassabis都會有種強(qiáng)烈的遺憾感：自己可能連這個系統(tǒng)的十分之一都沒來得及深入測試，就已經(jīng)要投入下一個版本的研發(fā)了。

而用戶們往往會比Gemini開發(fā)人員更快地發(fā)掘新功能，把模型用到連他們都沒想到的地方。

最核心的觀點(diǎn)

Hassabis最核心的觀點(diǎn)可能是AGI的實現(xiàn)路徑問題。

他認(rèn)為，我們距離真正的AGI還有大約5到10年的時間。

DeepMind對AGI的定義要求很高：要稱得上「通用」，AI系統(tǒng)必須全面具備人類的所有認(rèn)知能力，其中包括「創(chuàng)造力」和「發(fā)明能力」。

現(xiàn)在的LLM在某些領(lǐng)域已經(jīng)非常驚艷，堪比博士水平，甚至能拿奧林匹克金牌；但在另外一些領(lǐng)域，它們?nèi)匀淮嬖诿黠@缺陷，呈現(xiàn)出「參差不齊」的智力表現(xiàn)。

真正的AGI應(yīng)當(dāng)擁有「各項能力均衡發(fā)展」的穩(wěn)定智能。

這包括當(dāng)前模型所缺失的幾個關(guān)鍵能力：持續(xù)學(xué)習(xí)（continual learning）、在線學(xué)習(xí)（online learning）、長期規(guī)劃和多步推理。

目前，大語言模型完全不具備這些能力。

他承認(rèn)存在一種可能性，即規(guī)模擴(kuò)展「可能就是AGI系統(tǒng)的全部」，盡管他認(rèn)為這種情況可能性較小。

這需要我們必須將規(guī)模擴(kuò)展推向絕對極限。

退一步說，規(guī)模擴(kuò)展至少會成為最終AGI的「關(guān)鍵構(gòu)件」。

Hassabis相信，它們未來會具備這些能力，但我們可能還需要一兩個重大技術(shù)突破。

而谷歌似乎已經(jīng)有了Transformer級的重大突破。

最強(qiáng)「Transformer」出世

幾天前，NeurIPS大會上一場對談中，谷歌首席科學(xué)家Jeff Dean和AI教父Hinton同框。

關(guān)于LLM和研究路線，Hinton當(dāng)場提出了一個尖銳的問題——

谷歌是否后悔發(fā)表Transformer論文？

Jeff Dean給出了干脆的回應(yīng)：「不后悔！這項研究對世界產(chǎn)生了重大的影響」。

幾乎同一時間，谷歌放出了全新的架構(gòu)Titans，成為Transformer的最強(qiáng)繼任者！

此外，還有一個全新的MIRAS框架。

兩者的結(jié)合，可以讓 AI模型在運(yùn)行過程中動態(tài)更新核心記憶，跑得更快，也能處理超長規(guī)模的上下文。

眾所周知，Transformer最大瓶頸在于，上下文無限擴(kuò)展，會導(dǎo)致計算成本飆升。

除了業(yè)界迭代的RNN、Mamba-2等架構(gòu)，谷歌也提出了新一代解決方案——

如上所述，Titans+MIRAS，就是一套把RNN速度和Transformer準(zhǔn)確性，結(jié)合起來的架構(gòu)與理論思路。

Titans（MAC）架構(gòu)：通過一個長時記憶模塊來壓縮歷史數(shù)據(jù)，并將生成的摘要加入當(dāng)前上下文，再交由注意力機(jī)制處理

Titans是具體的模型架構(gòu)（工具），而MIRAS 是用于泛化這些方法的理論框架（藍(lán)圖）。

它們合起來，實現(xiàn)了一種「測試時」記憶的能力。

在運(yùn)行時，模型不再只是把信息壓成一段靜態(tài)狀態(tài)，而是在數(shù)據(jù)不斷輸入時主動學(xué)習(xí)，即時更新自己的參數(shù)。

這個關(guān)鍵機(jī)制，可以讓模型立刻把新的、具體的信息加入到核心知識里。

值得一提的是，清華姚班校友鐘沛林參與了兩項工作。他博士畢業(yè)于哥倫比亞大學(xué)，2021年起加入谷歌任研究科學(xué)家。

Titans：即時掌握新上下文

一個高效的學(xué)習(xí)系統(tǒng)，需要既獨(dú)立又互相關(guān)聯(lián)的「記憶模塊」。

這一機(jī)制，就像人腦會將短期記憶和長期記憶區(qū)分開來一樣。

它擁有更強(qiáng)的表達(dá)能力，在不丟失關(guān)鍵信息的同時，總結(jié)海量內(nèi)容。

有了Titans，LLM不只是記筆記，而是在真正理解并串聯(lián)整個故事。

論文地址：https://arxiv.org/pdf/2501.00663

更重要的是，Titans并非被動存儲數(shù)據(jù)，而會主動學(xué)習(xí)如何識別并保留貫穿整個輸入的重要關(guān)系和概念主題。

衡量這一能力的核心指標(biāo)之一，谷歌將其稱之為「驚奇度」（surprise metric）。

假設(shè)遇到「高驚奇」度的信息時，會被優(yōu)先寫入長期記憶。而且，會隨著不斷學(xué)習(xí)，自適應(yīng)管理權(quán)重，主動遺忘不再需要的信息。

MIRAS：統(tǒng)一視角，序列建模

序列建模的每一次重大突破，本質(zhì)上都在使用同一種底層機(jī)制：高度復(fù)雜的聯(lián)想記憶模塊。

MIRAS獨(dú)到之處和實用價值在于，它看待AI建模的方式——

把各種架構(gòu)視為解決同一個核心問題的「不同手段」。

如何在融合新信息與舊記憶的同時，不讓關(guān)鍵概念被遺忘。

MIRAS框架

MIRAS通過四個關(guān)鍵設(shè)計維度，來定義序列模型：

記憶架構(gòu)（Memory architecture）：承擔(dān)信息存儲的結(jié)構(gòu)，例如向量、矩陣，或像Titans深層多層感知機(jī)。

注意偏置（Attentional bias）：模型內(nèi)部優(yōu)化的學(xué)習(xí)目標(biāo)，決定優(yōu)先關(guān)注哪些信息。

保留門（Retention gate）：一種記憶正則化機(jī)制。MIRAS將傳統(tǒng)「遺忘機(jī)制」重新解釋為正則化形式，用于在學(xué)習(xí)新知識與保留舊知識之間取得平衡。

記憶算法（Memory algorithm）：用于更新記憶狀態(tài)的優(yōu)化算法。

以MIRAS框架的視角審視近期序列模型

超越注意力

幾乎所有現(xiàn)行成功的序列模型，在處理偏置和保留機(jī)制時，都依賴于均方誤差（MSE）或點(diǎn)積相似度。這種依賴導(dǎo)致模型對異常值（outliers）過于敏感，并限制了其表達(dá)能力。

MIRAS突破了這一局限。

基于MIRAS，谷歌構(gòu)建了三款獨(dú)特的無注意力（Attention-free）模型：

YAAD

MONETA

MEMORA

在語言建模和常識推理任務(wù)中，Titans架構(gòu)在同等規(guī)模下，優(yōu)于最先進(jìn)的線性循環(huán)模型（如Mamba-2和Gated DeltaNet）以及Transformer++基線模型。

新穎的MIRAS變體（MONETA、YAAD、MEMORA）相比這些基線模型也提升了性能，驗證了探索穩(wěn)健的非MSE優(yōu)化機(jī)制的優(yōu)勢。

重要的是，這些模型保持了高效的并行化訓(xùn)練和快速的線性推理速度。

這些新架構(gòu)最顯著的優(yōu)勢在于其處理超長上下文的能力。

這在BABILong基準(zhǔn)測試中得到突出體現(xiàn)，該任務(wù)需要對分布在超長文檔中的事實進(jìn)行推理。

在BABILong基準(zhǔn)上，Titans以更少的參數(shù)量，表現(xiàn)優(yōu)于包括GPT-4等超大型模型在內(nèi)的所有基線模型。

Titans進(jìn)一步展示了可有效擴(kuò)展到超過200萬token上下文窗口的能力。

Titans在超長上下文推理任務(wù)上的性能表現(xiàn)

有Reddit網(wǎng)友預(yù)測，或許我們在明天，就可以看到采用Titans架構(gòu)的Gemini 4。

正如網(wǎng)友所言，這可能是谷歌繼Transformer之后，首個重大突破！

在架構(gòu)層面，Titans+MIRAS補(bǔ)上了「記憶與持續(xù)學(xué)習(xí)」。

而在多模態(tài)能力層面，Gemini顯露「元認(rèn)知」的邊緣形態(tài)。

也許，AGI正加速到來。

參考資料：

https://www.youtube.com/watch?v=tDSDR7QILLg&t=11s

https://x.com/kimmonismus/status/1997026763353022647

https://x.com/DataChaz/status/1997211176422482341?s=20

https://research.google/blog/titans-miras-helping-ai-have-long-term-memory/

https://www.axios.com/2025/12/05/ai-deepmind-gemini-agi

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！