OpenAI創始人之一，AI大神Andrej Karpathy近日發布年度復盤，稱2025年是大型語言模型領域蓬勃發展的一年，出現了六個關鍵的"范式轉變"拐點。這些變化不僅改變了行業格局，更重要的是揭示了LLM正在演變成一種全新的智能形態。

12月20日，據硬AI消息，Karpathy在社交平臺X上發布的年度復盤中表示，LLM正在演變成一種新型智能，"比我預期的要聰明得多，同時也比我預期的要笨得多"。

他指出，今年出現了6個改變行業格局的"范式轉變"關鍵拐點，其中基于可驗證獎勵的強化學習（RLVR）成為LLM生產流程中的新階段，各大實驗室將原本用于預訓練的算力轉向了更長周期的強化學習訓練。

他特別強調了LLM智能的"鋸齒狀"特征，稱這些模型既是博學的天才，又像是思維混亂的小學生。Karpathy表示，LLM不是在"進化動物"而是在"召喚幽靈"，這種全新的智能形態需要用不同的視角來理解。

他在復盤中指出，從預訓練到強化學習的技術演進、從文本交互到圖形界面的用戶體驗革新，以及從專業編程到"氛圍編碼"的能力普及，都標志著AI應用正在進入新的發展階段。

盡管目前能力已經極其有用，但Karpathy認為整個行業實現出的LLM潛力還不到10%，預計將看到持續且飛速的進展，但技術挑戰仍然艱巨。

拐點一：基于可驗證獎勵的強化學習改變訓練范式

2025年最重要的技術突破是基于可驗證獎勵的強化學習（RLVR）成為LLM訓練的新階段。

Karpathy稱，傳統的生產級LLM訓練流程包括預訓練、指令微調和基于人類反饋的強化學習三個階段，而RLVR的加入徹底改變了這一格局。

RLVR通過在數學題、代碼謎題等可自動驗證的環境中訓練，使LLM自發演化出類似"推理"的策略。模型學會將問題拆解為中間計算步驟，并掌握多種來回嘗試、推導解決問題的方法。DeepSeek R1論文展示了這些策略的具體表現。

與計算量較小的SFT和RLHF不同，RLVR針對客觀且不可作弊的獎勵函數，允許更長周期的優化。這種方法具有極高的"能力/成本比"，吞噬了原本用于預訓練的算力。2025年大部分能力提升都源于各實驗室消化這一新階段的"算力積壓"。

OpenAI o1是RLVR模型的首次展示，但o3的發布才是真正的拐點，讓人能直觀感受到差異。RLVR還帶來了一個全新調節旋鈕：通過生成更長推理路徑、增加"思考時間"來控制推理能力。

拐點二："幽靈智能"展現鋸齒狀性能特征

2025年，業界開始真正理解LLM智能的獨特"形態"。

Karpathy指出，我們并非在"進化動物"，而是在"召喚幽靈"。LLM的神經架構、訓練數據、算法和優化壓力都與生物智能完全不同，產生了全新的智能實體。

人類神經網絡為叢林部落生存而優化，LLM神經網絡則為模仿人類文本、獲取數學題獎勵和在LM Arena獲得點贊而優化。這種差異導致LLM展現出"鋸齒狀"性能特征：既是博學天才，又像認知障礙的小學生，前一秒解難題，后一秒就可能被簡單提示詞破解。

隨著可驗證領域的RLVR應用，LLM在這些領域附近出現能力"激增"，但整體表現極不均衡。這種現象讓Karpathy對基準測試產生信任危機，因為基準測試本質上就是可驗證環境，極易受到RLVR攻擊。實驗室團隊通過"刷榜"在測試集周圍構建環境，"面向測試集訓練"成為新藝術形式。

拐點三：Cursor引領新一代LLM應用層崛起

Cursor的崛起不僅在于其成功，更在于它揭示了"LLM應用"的全新層級。人們開始討論各行各業的"Cursor版本"，標志著垂直領域LLM應用的興起。

像Cursor這樣的LLM應用為特定垂直領域封裝并編排LLM調用，具備四個核心功能：

處理"上下文工程"；在底層編排多個LLM調用，串聯成復雜的有向無環圖，平衡性能和成本；為人類參與提供特定應用的圖形界面；提供"自主程度調節滑塊"。

2025年業界熱議這個新應用層的"厚度"問題：LLM實驗室會通吃所有應用，還是給垂直應用留下發展空間？

Karpathy認為，LLM實驗室傾向于培養通用能力的"大學生"，而LLM應用則通過提供私有數據、傳感器、執行器和反饋閉環，將這些"大學生"組織成特定領域的專業從業者。

拐點四：Claude Code開創本地AI智能體新范式

Claude Code成為LLM智能體的首次令人信服展示，它以循環方式串聯工具調用和推理，進行長時間問題解決。更重要的是，Claude Code運行在用戶電腦上，使用私有環境、數據和上下文。

Karpathy認為OpenAI在這方面走偏了，過度專注云端容器和ChatGPT編排，而非本地部署。雖然云端智能體集群像"AGI終局"，但在當前能力參差不齊的過渡階段，直接在電腦上運行智能體，與開發者具體配置協作更有意義。

Claude Code抓住了正確的優先順序，將其打包成精美、極簡的命令行形態，改變了AI的樣貌。AI不再是被動訪問的網站，而是"住"在電腦里的靈體。這種本地化、個性化的AI交互范式為未來發展指明了方向，強調了隱私保護和個性化體驗的重要性。

拐點五：Vibe Coding讓編程能力普及化

2025年AI跨越關鍵能力閾值，使人們僅憑英語就能構建復雜程序，完全忽略底層代碼存在。"Vibe Coding"概念的流行標志著編程門檻的徹底降低。

Vibe Coding使編程不再是專業人士專利，任何人都能參與。這印證了LLM"權力歸于人民"的特點：與以往技術不同，普通人從LLM獲益遠超專業人士、企業和政府。不僅普通人能嘗試編程，專業開發者也能創造更多原本不會開發的軟件。

Karpathy分享了自己的實踐經驗：

用Rust開發高效BPE分詞器，創建各種快速Demo應用，甚至為找單個Bug開發整個臨時應用。代碼變得免費、瞬時、可塑，用完即棄。這種變化將重塑軟件生態，改變職業定義，讓創意實現的成本接近零。
拐點六：Nano Banana開啟LLM圖形界面時代

谷歌Gemini Nano Banana被Karpathy稱為2025年最震撼、最具范式轉移意義的模型。在他的世界觀中，LLM是繼1970-80年代計算機后的下一次重大計算范式，將產生類似歷史意義的創新。

當前與LLM對話類似80年代向電腦控制臺輸入命令。文本雖是計算機和LLM偏好的原始數據表示，但并非人類偏好格式。人類不喜歡閱讀長文本，更喜歡視覺和空間方式消費信息，這是GUI在傳統計算中被發明的原因。

LLM也應以人類偏好格式交流：圖像、信息圖、幻燈片、白板、動畫視頻、網頁應用等。Emoji和Markdown是早期嘗試，但真正的"LLM GUI"需要更深層創新。

Nano Banana提供了這種可能性的早期雛形，其顯著特征不僅是圖像生成，更是文本生成、圖像生成和世界知識在模型權重中的交織融合。

這種多模態融合能力預示著未來AI交互界面的根本變革，從純文本對話轉向富媒體、多感官的沉浸式體驗。