新智元報(bào)道

編輯：Aeneas 傾傾

谷歌大模型將迎顛覆升級(jí)！Gemini負(fù)責(zé)人爆料：長(zhǎng)上下文效率與長(zhǎng)度雙重突破在即，注意力機(jī)制迎來(lái)驚人發(fā)現(xiàn)。Scaling Law未死，正加速演變！

谷歌又要有重大突破了？

最近，Google DeepMind的Gemini預(yù)訓(xùn)練負(fù)責(zé)人Sebastian Borgeaud在采訪中給出重磅爆料——

未來(lái)一年，大模型預(yù)訓(xùn)練領(lǐng)域?qū)⒃?strong>「長(zhǎng)上下文處理效率」和「上下文長(zhǎng)度擴(kuò)展」兩大方向迎來(lái)重大技術(shù)創(chuàng)新。

同時(shí)，Google Gemini三巨頭——Jeff Dean、OriolVinyalsML和Noam Shazeer罕見(jiàn)同臺(tái)了，他們的對(duì)談中，跟Sebastian的內(nèi)容展現(xiàn)出了驚人的一致。

眾多高瞻遠(yuǎn)矚、閃爍著智慧光芒的思想讓人深思。

難怪，谷歌依然是那個(gè)巨人。

谷歌大佬激動(dòng)預(yù)言

已破解大模型核心秘密

Google DeepMind的Gemini預(yù)訓(xùn)練負(fù)責(zé)人Sebastian Borgeaud在最近的訪談中表示，預(yù)計(jì)在未來(lái)一年內(nèi)，針對(duì)提升長(zhǎng)上下文處理效率以及進(jìn)一步擴(kuò)展模型上下文長(zhǎng)度的預(yù)訓(xùn)練技術(shù)，將會(huì)有重大創(chuàng)新。

另外他還透露說(shuō)，最近他們?cè)谧⒁饬C(jī)制方面取得了一些非常有趣的發(fā)現(xiàn)，這可能在未來(lái)幾個(gè)月內(nèi)重塑他們的研究方向。

對(duì)此，他表示非常興奮。

而且他提出了振聾發(fā)聵的一句話：Scaling Law并未消亡，只是正在演變！

Sebastian Borgeaud是Gemini 3的預(yù)訓(xùn)練負(fù)責(zé)人。

這次，是他首次接受博客采訪，帶我們深入了解了Gemini 3背后的實(shí)驗(yàn)室思維——變化究竟發(fā)生在哪里，為什么現(xiàn)在的工作不再是「訓(xùn)練模型」，而是構(gòu)建一個(gè)完整的系統(tǒng)。

Gemini 3背后：AI的未來(lái)正在加速到來(lái)

一場(chǎng)意外的飛躍后，一個(gè)系統(tǒng)誕生了。

「如果對(duì)自己誠(chéng)實(shí)的話，我想……我們比我認(rèn)為我們能達(dá)到的地方，走得更遠(yuǎn)了。」

坐在麥克風(fēng)前的Sebastian Bourjou語(yǔ)氣平靜，但這句話卻像一顆投入湖面的石子，激起無(wú)限漣漪。

為何Gemini 3會(huì)實(shí)現(xiàn)如此巨大的性能飛躍？

Sebastian的回答看似很簡(jiǎn)單：「更好的預(yù)訓(xùn)練和更好的后期訓(xùn)練」。

然而，在這輕描淡寫(xiě)的背后，是一個(gè)根本性的認(rèn)知轉(zhuǎn)變。

「我們不再僅僅是在構(gòu)建一個(gè)模型了，」他緩緩說(shuō)道，「我認(rèn)為，在這一點(diǎn)上，我們真正在構(gòu)建的是一個(gè)系統(tǒng)。」

而這，就是Gemini 3顛覆性進(jìn)步的關(guān)鍵。

人們常常想象，從一個(gè)Gemini版本到下一個(gè)版本，總有一些石破天驚的「秘密武器」。但Sebastian揭示的真相是：進(jìn)步源于無(wú)數(shù)細(xì)微改進(jìn)的聚合。是來(lái)自龐大團(tuán)隊(duì)中，日復(fù)一日發(fā)現(xiàn)的那些「旋鈕」和優(yōu)化。

他還指出，AI發(fā)展范式正在經(jīng)歷的潛在轉(zhuǎn)移：過(guò)去，我們仿佛擁有無(wú)限數(shù)據(jù)，可以隨意擴(kuò)大數(shù)據(jù)集；而現(xiàn)在，我們正轉(zhuǎn)向一個(gè)「數(shù)據(jù)有限」體制。

這意味著，未來(lái)的AI，必須要學(xué)會(huì)更高效地利用有限的數(shù)據(jù)資源，構(gòu)建更復(fù)雜的系統(tǒng)工程。

這也就是模型架構(gòu)研究的核心價(jià)值所在。

這一轉(zhuǎn)變，將迫使整個(gè)行業(yè)從「大力出奇跡」的粗放模式，轉(zhuǎn)向「精雕細(xì)琢」的精細(xì)模式。

未來(lái)的競(jìng)爭(zhēng)焦點(diǎn)，將不再是「誰(shuí)的數(shù)據(jù)中心更大」，而是「誰(shuí)的學(xué)習(xí)算法更高效」、「誰(shuí)的模型架構(gòu)更優(yōu)雅」、「誰(shuí)能從有限數(shù)據(jù)中提取更多智慧」。

而Gemini 3的大腦架構(gòu)——混合專家模型MoE，就代表了LLM發(fā)展的一條清晰路徑：從追求單純的「大」，轉(zhuǎn)向追求「大而高效，大而智能」。

AI的下一站——長(zhǎng)上下文、高效檢索與「成本革命」

展望未來(lái)幾年的技術(shù)前沿，Sebastian指出了激動(dòng)人心的方向，它們將共同塑造下一代AI的能力與形態(tài)。

1. 長(zhǎng)上下文：從「短記憶」到「海量工作臺(tái)」

Gemini 1.5帶來(lái)的超長(zhǎng)上下文能力，已經(jīng)是一場(chǎng)變革。Sebastian預(yù)測(cè)，這方面的創(chuàng)新將持續(xù)加速。「我認(rèn)為未來(lái)一年左右，將在使長(zhǎng)上下文更高效、并進(jìn)一步擴(kuò)展上下文長(zhǎng)度方面看到更多創(chuàng)新。」

這不僅僅是「記住更多」這么簡(jiǎn)單。超長(zhǎng)上下文將把模型變成一個(gè)真正的數(shù)字工作臺(tái)：它可以同時(shí)載入整個(gè)代碼庫(kù)、多篇科研論文、長(zhǎng)時(shí)間對(duì)話歷史，并在其中進(jìn)行連貫的分析、推理和創(chuàng)作。

這為復(fù)雜的多步任務(wù)、深度研究和創(chuàng)作提供了前所未有的可能，是邁向更強(qiáng)大「智能體」的關(guān)鍵基礎(chǔ)設(shè)施。

2. 注意力機(jī)制的進(jìn)化

Sebastian特別提到，在注意力機(jī)制上，「我們最近有了一些真正有趣的發(fā)現(xiàn)，我認(rèn)為這將塑造未來(lái)幾個(gè)月的大量研究。」他對(duì)此「?jìng)€(gè)人非常興奮」。

這暗示著，被認(rèn)為是當(dāng)前大模型基石的注意力機(jī)制，仍有巨大的改進(jìn)空間。

更高效、更強(qiáng)大或具備新特性的注意力機(jī)制，可能從底層顯著提升模型的理解、推理和計(jì)算效率，是推動(dòng)性能邊界的重要杠桿。

3. 檢索的回歸：讓模型學(xué)會(huì)「查資料」

Sebastian早期曾主導(dǎo)「Retro」項(xiàng)目，研究讓模型在訓(xùn)練和推理時(shí)檢索外部知識(shí)庫(kù)，而非將所有知識(shí)死記硬背在參數(shù)中。他認(rèn)為，這一方向遠(yuǎn)未過(guò)時(shí)。

「我內(nèi)心深處相信，長(zhǎng)期的答案是以可微分的方式學(xué)習(xí)這種能力。」這意味著，未來(lái)模型可能將檢索與推理更原生地結(jié)合，動(dòng)態(tài)地從海量知識(shí)源中獲取信息進(jìn)行思考，而非依賴后期「嫁接」的搜索工具。

這能讓模型更精準(zhǔn)、更及時(shí)，并可能突破參數(shù)規(guī)模的知識(shí)容量限制。

4. 效率與成本的「革命」

一個(gè)日益凸顯的挑戰(zhàn)是：隨著用戶激增，模型的部署和服務(wù)成本變得至關(guān)重要。未來(lái)的研究將不再只追求性能峰值，還必須關(guān)注如何讓強(qiáng)大模型變得「便宜又好用」。

我仍看不到盡頭

采訪臨近尾聲，當(dāng)我們把鏡頭拉回這位站在AI浪潮之巔的研究者本人時(shí)，Sebastian的回答透露著一種沉靜的樂(lè)觀與純粹的熱情。

盡管探討了數(shù)據(jù)瓶頸、成本挑戰(zhàn)等現(xiàn)實(shí)問(wèn)題，但Sebastian對(duì)AI進(jìn)步的總體判斷依然充滿信心。

「我已經(jīng)多次提到這一點(diǎn)，但確實(shí)有如此多不同的事情會(huì)復(fù)合起來(lái)，還有許多有改進(jìn)空間的方向。我現(xiàn)在真的看不到這類工作停止給我們帶來(lái)進(jìn)步的任何盡頭。」

這種信心并非盲目。它源于他作為一線領(lǐng)航者所目睹的：大量細(xì)微但確定的改進(jìn)空間，以及整個(gè)領(lǐng)域尚未枯竭的創(chuàng)造活力。

在他看來(lái)，至少在未來(lái)幾年，這種進(jìn)步勢(shì)頭不會(huì)放緩。

規(guī)模不再是神話

Noam Shazeer回歸后的第一桶冷水

接下來(lái)，是Jeff Dean、Noam Shazeer、Oriol Vinyals三位大佬的對(duì)談。

在會(huì)議中，我們能明顯感受到，Noam不再是那個(gè)把油門踩到底的激進(jìn)派。

他幾乎不主動(dòng)談?wù)摗割嵏病梗埠苌儆媚切┳屓搜}噴張的宏大詞匯。甚至一反常態(tài)，多次談到研發(fā)節(jié)奏、系統(tǒng)的穩(wěn)定性，以及如何長(zhǎng)期運(yùn)行。

作為Transformer的開(kāi)創(chuàng)者，他曾經(jīng)引領(lǐng)著大模型從無(wú)到有；現(xiàn)在，大模型一路高歌猛進(jìn)，他卻停下來(lái)警告：大模型給出的答案太快，自我檢查的次數(shù)太少。

他曾在公開(kāi)場(chǎng)合反復(fù)強(qiáng)調(diào)：

現(xiàn)在的模型并不缺「聰明」，缺的是持續(xù)思考，并在復(fù)雜任務(wù)中反復(fù)修正的能力。

也就是說(shuō)，大模型的規(guī)模依然重要，但它不再是決定一切的唯一變量。

當(dāng)Noam討論推理時(shí)，他明顯將重心從「能不能更強(qiáng)」移向了「能不能更穩(wěn)定」。

這是他回歸Google后，第一次在公開(kāi)場(chǎng)合展現(xiàn)這種判斷。

聽(tīng)起來(lái)并不像是否定過(guò)去，而更像是在承認(rèn)一個(gè)事實(shí)：那條單純靠堆參數(shù)就能不斷前進(jìn)的路，已經(jīng)接近邊界了。

頂級(jí)科學(xué)家的共識(shí)：一次高分，不能定義AI的未來(lái)

Noam提到一個(gè)詞：慢思考（Slow Thinking）。

不只是簡(jiǎn)單的放慢研發(fā)速度，而是反復(fù)追問(wèn)值不值、貴不貴、能不能被規(guī)模化復(fù)制。

至此，智能不再是一項(xiàng)抽象的能力，而是一項(xiàng)需要長(zhǎng)期支付的工程開(kāi)銷，需要和CPU、硬盤一起放進(jìn)賬本里討論。

這一步一旦邁出去，很多過(guò)去衡量AI的標(biāo)準(zhǔn)，如Benchmark也在慢慢失效。

在整場(chǎng)會(huì)議中，三位頂級(jí)科學(xué)家沒(méi)有表現(xiàn)出對(duì)榜單的興奮，也沒(méi)用「誰(shuí)贏了誰(shuí)」來(lái)定義進(jìn)展。

榜單擅長(zhǎng)衡量瞬時(shí)表現(xiàn)，卻很難回答「能不能一直運(yùn)行」這類長(zhǎng)期問(wèn)題。

而Noam和Jeff反復(fù)強(qiáng)調(diào)的，恰恰是后者：模型是否可靠、是否具備遷移能力、是否能在復(fù)雜任務(wù)中持續(xù)自我修正。

這些能力，很難被壓縮成一個(gè)漂亮的數(shù)字。

Gemini被當(dāng)成System，而不是Model

在這場(chǎng)對(duì)談里，「System」出現(xiàn)的頻率極高，這顯然不是一種修辭。

Noam和Jeff在描述Gemini時(shí)，刻意避開(kāi)了「一個(gè)更強(qiáng)的模型」這種表述，而是反復(fù)強(qiáng)調(diào)它是一個(gè)可以長(zhǎng)期運(yùn)行、不斷迭代的「系統(tǒng)」。

「系統(tǒng)」和「模型」，聽(tīng)起來(lái)差不多，但背后的邏輯天差地別。

「模型」更像是一次性的成果，是在實(shí)驗(yàn)室里的瞬間表現(xiàn)；而「系統(tǒng)」更像基礎(chǔ)設(shè)施，它關(guān)心的是穩(wěn)定性、可擴(kuò)展性，以及在出現(xiàn)錯(cuò)誤后能不能快速修復(fù)并繼續(xù)工作。

對(duì)于Noam這類，極度強(qiáng)調(diào)架構(gòu)設(shè)計(jì)、研發(fā)節(jié)奏和工程約束的人，天然會(huì)更在意一個(gè)系統(tǒng)能不能穩(wěn)健地運(yùn)行十年、二十年，而不是某一次響應(yīng)速度有多快。

在他們眼中，Gemini不是勝利者的獎(jiǎng)品，而是一種「長(zhǎng)期可用」的智能形態(tài)。

正因如此，整場(chǎng)對(duì)談沒(méi)有急于求成的產(chǎn)品宣發(fā)，沒(méi)有劍拔弩張的「對(duì)標(biāo)某模型」。

它更像是在對(duì)外強(qiáng)調(diào)：Google追求的不是曇花一現(xiàn)的成品，而是一套能反復(fù)使用、不斷進(jìn)化的智能工業(yè)體系。

參考資料：

https://x.com/JeffDean/status/2001759657950667219

https://x.com/JeffDean/status/2001692889299206519

https://twitter.com/i/spaces/1eaJbjvBOooJX/peek

https://x.com/Hangsiin/status/2001780901982961944

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！