鷺羽 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

“我們正在經(jīng)歷一次靜悄悄、但本質性的AI范式轉換。它的意義不亞于Transformer本身。”

過去一年里，關于AI發(fā)展，出現(xiàn)了兩種觀點的分化：

一邊是“AI增長放緩、模型到頂、預訓練無用論”另一邊則是隔三差五就來一次“AI大周”：GPT-5.1Gemini 3Grok 4.1

而Transformer作者之一、現(xiàn)任OpenAI研究科學家的?ukasz Kaiser最近接受采訪，給出了第一視角的解答。

信息量極大，包括AI的底層范式轉變、GPT-5.1的命名規(guī)則、未來AI的發(fā)展趨勢……以及Transformer誕生背后的二三事。

AI不是變慢了，而是換代了。GPT-5.1不是簡單的小版本迭代，OpenAI內(nèi)部版本命名規(guī)則有所變化。多模態(tài)推理將會成為下一個突破點。AI不會讓人類完全失去工作。家用機器人是繼ChatGPT后最可見的AI革命。

下面一起來康康詳細內(nèi)容：

AI發(fā)展沒有放緩，而是平穩(wěn)增長

過去一年里，有關“模型進展變緩”的聲音層出不窮，但?ukasz認為這種看法是錯誤的。

他給出的解釋也很直白：

從內(nèi)部視角看，AI的能力增長是一條非常平滑的指數(shù)曲線。

這類似于摩爾定律，幾十年來摩爾定律始終有效，甚至在GPU的推動下還在加速，歸根結底也是因為它歷經(jīng)了數(shù)代技術的迭代。

因此，AI從外部看，趨勢是平穩(wěn)的；而從內(nèi)部看，其進步也離不開新技術、計算機能力的提升和工程優(yōu)化的共同作用。

至于為什么會有人覺得“變慢了”，原因無它：AI的底層范式，已經(jīng)悄悄從預訓練轉向推理模型。

這也是繼Transformer誕生后的又一次關鍵轉折。

如果把技術發(fā)展的過程描述為一條S型曲線（起步→快速增長→平穩(wěn)期），那么預訓練就處于S曲線的上升后期，而推理模型仍處于初期。

不過這并不意味著預訓練的Scaling Laws就失效了，它仍在發(fā)揮作用，只是和新的推理范式相比，需要投入更多的資金。

所以出于經(jīng)濟上的考量，業(yè)內(nèi)人士開始普遍將工作重心轉向更小也更便宜，但質量相同的模型，所以這也是導致外界認為預訓練已經(jīng)停止的原因之一。

那么回到推理模型上，由于該范式還處于新興階段，進步速度會相當之快。

以ChatGPT為例，GPT-3.5會直接基于訓練數(shù)據(jù)記憶給出答案，而不會借助任何外部工具和推理，反觀現(xiàn)在最新的ChatGPT會主動瀏覽網(wǎng)站、進行推理分析，再給出準確答案。

對于普通用戶來說，如果不仔細對比，可能會覺得二者差異不大，但實際上這背后是性能質的飛躍。

又比如說Codex，程序員的工作方式已經(jīng)在近幾個月里轉變?yōu)?strong>“Codex先處理，然后人工微調”的模式，這種變化其實相當之徹底，但如果不是專業(yè)從事編程工作，自然不會留意到這種根本性變革。

所以總的來說，這一切的變化都發(fā)生得太快，以至于讓人們還未曾察覺到其中的變化。

而推理模型的本質其實也與基礎大模型類似，只是在給出最終答案前，會優(yōu)先進行思考，也就是所謂的思維鏈。

在思考過程中，模型被允許使用工具，例如瀏覽網(wǎng)頁，以給出更準確的答案。其推理過程也會被視為模型的一部分并接受訓練。

相比于傳統(tǒng)的深度神經(jīng)網(wǎng)絡梯度下降訓練，推理模型則更多使用的是強化學習。

具體來說，強化學習會通過獎勵機制推動模型獲取更好的答案，也需要研究人員提供更細致的數(shù)據(jù)準備，以完成強化學習的參數(shù)調整。

然后通過強化學習，模型就能學會對自身錯誤的糾正。

后續(xù)行業(yè)也會繼續(xù)轉向更復雜的強化學習，例如借助一個大模型來判斷答案的正確性或偏好度，或者融入更多的人類偏好。

總之，未來強化學習的應用范圍會更加廣泛，不僅僅適用于特定領域，還能處理更多通用數(shù)據(jù)，比如說多模態(tài)推理，雖然最近Gemini已經(jīng)能夠在推理過程中生成圖像，但整體來說還處于剛剛起步的階段，相信在強化學習的幫助下會有進一步的提升。

GPT-5.1絕非表面上的小版本更新

關于最近發(fā)布的GPT-5.1，?ukasz也釋出了更多細節(jié)。

GPT-5.1看起來只是小版本更迭，實際從內(nèi)部來講，是一個巨大的穩(wěn)定性迭代。

首先回到最初的GPT-4到GPT-5，簡單來說，得益于強化學習和合成數(shù)據(jù)的應用，GPT-5的推理能力明顯提升了。

而到GPT-5.1的改進，則更多集中在后訓練階段，比如增加安全性、減少幻覺，以及添加了如書呆子、專業(yè)等多種風格選擇。

版本的命名方式也不再與技術細節(jié)掛鉤，轉而以用戶體驗為導向，比如GPT-5是基礎能力較強的模型，GPT-5.1是能力更優(yōu)的版本，Mini是更小、更快、更廉價但性能稍弱的模型，推理模型則專注于復雜任務。

這種命名方式的轉變也為OpenAI內(nèi)部帶來了更多靈活性，現(xiàn)在強化學習、預訓練、幻燈片優(yōu)化等多個項目并行工作，然后通過蒸餾技術就能將多項目成果整合到一個模型中。

這大大縮短了模型迭代時間，可以更好地滿足用戶體驗需求，所以GPT-5.1看似是小版本更新，實則背后是OpenAI基于用戶對其能力和目標預期做出的策略調整。

不過坦白地講，GPT-5.1在部分能力上仍然存在短板。

比如?ukasz用自己5歲的女兒舉了個例子——

GPT-5.1能夠游刃有余地解決奧林匹克競賽題，但在面對小學一年級的數(shù)奇偶數(shù)題目上卻錯誤百出。

該題目內(nèi)容是，圖中有兩組點，中間有一個共享點，問總點數(shù)是奇數(shù)還是偶數(shù)。

5歲的孩子能夠在10秒內(nèi)就算出答案（因為共享點的存在導致總點數(shù)為奇數(shù)），但無論GPT-5.1還是Gemini 3都會自動忽略這個共享點，誤判為偶數(shù)。

這主要還是因為模型缺乏足夠的多模態(tài)能力，也未能將一個問題的推理經(jīng)驗遷移到相似場景中，所以后續(xù)他們將會在訓練中進一步強化多模態(tài)推理和上下文推理遷移能力。

從谷歌Transformer走向OpenAI

而作為Transformer的作者之一，?ukasz也在訪談中補充了很多誕生細節(jié)。

?ukasz自己原先是一名專注于理論計算機科學的學者，高中時就對數(shù)學和計算機充滿興趣，并在德國獲得了理論計算機科學與數(shù)學博士學位。

他一直對“思維是如何運作的”、“智能的本質是什么”諸如此類的問題充滿好奇，也曾在法國獲得終身教職，從事邏輯和編程研究。

直到深度學習興起，他加入了谷歌。

先是成為了Ray Kurzweil團隊的一員，后轉至Google Brain，開始與Ilya Sutskever等人合作。

在開發(fā)Transformer的過程中，?ukasz主要負責編碼和系統(tǒng)工作，參與TensorFlow框架的開發(fā)。

不過有趣的是，據(jù)他回憶，Transformer論文的八位共同作者從未在同一個物理房間中共同出現(xiàn)過。

而雖然他們彼此之間素未謀面，但他們通過不同角度共同構建了這個模型：

有人專注于注意力機制本身，有人研究如何通過前饋網(wǎng)絡存儲知識，還有人復雜解決工程實現(xiàn)問題，比如他自己。

從現(xiàn)在的角度看，Transformer毫無疑問是當今AI架構的里程碑，但在當時，很多人對用同一個模型處理多個任務的想法并不理解，他們普遍認為不同任務就應該分別訓練不同的專有模型。

而他們八個人堅信自己的選擇，后來的事實也證實了他們的想法是正確的。

關于之所以離開谷歌，轉投OpenAI，其中一個原因還是因為llya。

llya在谷歌時期就是?ukasz的直系領導，在創(chuàng)辦OpenAI后也屢次邀請他加入。剛好這時，?ukasz也無法適應Google Brain的團隊規(guī)模擴大以及遠程工作氛圍，于是一拍即合，來到了OpenAI。

OpenAI也沒有讓他失望，這里沒有嚴格的組織架構，都是根據(jù)項目自發(fā)組隊，也會根據(jù)項目進展靈活調整，直到項目成熟才會逐步擴大團隊。

當然不同項目之間也會存在資源競爭，畢竟OpenAI內(nèi)部GPU資源有限。

從技術層面看，預訓練目前消耗的GPU資源最多，其次是強化學習和視頻模型，資源分配在很大程度上還是由技術需求決定。

所以競爭不可避免，?ukasz本人也不例外。

下一次突破來自多模態(tài)推理+具身智能

最后，?ukasz聊了聊他眼中的AI未來。

AI會改變工作，但不會讓工作消失。

因為從產(chǎn)品層面上看，即使AI自動化了絕大部分任務，但人類專家的需求仍然存在。

以翻譯行業(yè)為例，其實Transformer論文最初的應用場景就是翻譯，現(xiàn)在的模型也能準確翻譯西班牙語、法語等語言，但對于報紙廣告乃至ChatGPT UI界面，仍然需要人類譯者進行二次審核。

這本質上是信任問題，即使模型能力再強，對于一些高風險、高關注度的場景，還是會傾向于依賴人類專家經(jīng)驗。

只是說，對于另外一些基礎工作，可替代性會變高，后續(xù)也會出現(xiàn)相應的工作內(nèi)容變化，但歸根結底不會讓人類無事可做。

?ukasz還預計，家用機器人可能會成為“下一次更為直觀的AI革命”。

機器人技術的進展，取決于多模態(tài)能力和通用強化學習、通用推理的進步。一旦這些領域取得突破，機器人技術必將迎來爆發(fā)式增長。

目前已經(jīng)有很多硅谷公司在相繼推出智能手遙操作等硬件產(chǎn)品，硬件基礎也將迅速成熟，屆時將協(xié)同多模態(tài)和物理世界推理能力，實現(xiàn)家用機器人的能力躍遷。

這將會比ChatGPT更直觀、更易感知。

參考鏈接：
[1]https://www.youtube.com/watch?v=3K-R4yVjJfU&t=2637s