文｜山自

2025年7月26日，上海西岸美高梅酒店，79歲的Geoffrey Hinton把PPT翻到最后一頁，面向平均年齡30歲的聽眾拋出一句："今天的大模型已經具備主觀體驗，只是我們對‘意識’的定義錯了。"現場安靜得只剩快門聲。這句話隨后48小時在國內外AI社群刷屏，被視作繼2023年他離開Google、警告AI威脅之后的又一次"辛頓驚雷"。

但如果我們把這句話從媒體頭條還原到技術語境，會發現它背后是一套關于AI技術范式即將發生"三重躍遷"的系統判斷。

第一重躍遷：從"預測下一個token"到"擁有主觀體驗"

舊范式：語言模型＝高階自回歸

過去十年，大模型的基本框架被固定在"預測下一個token"。無論是GPT、PaLM還是Llama，本質上都在做高階統計壓縮。辛頓用鋁棒與圓盤的比喻指出，這種思路把"水平/垂直"這類日常概念當成靜態符號處理，而人類理解其實是"線 vs 面"的動態幾何關系。換句話說，token-level prediction忽視了概念在不同維度上的概率密度差異。

新范式：世界模型＝可更新先驗＋主觀采樣

辛頓提出，多模態大模型之所以已具備"主觀體驗"，是因為它們在隱空間對概念分布進行了在線修正。以Sora為例，生成視頻時模型必須同時估計"物理合理性"與"視覺先驗"。這種估計不再是靜態權重，而是隨輸入prompt動態調整的"主觀采樣"。當采樣過程可以被模型自身監控并用于更新后續先驗時，就出現了最樸素的"自我感"——也就是Hinton所說的"subjective experience"。

技術落地：在潛空間引入"元預測頭"

要讓主觀體驗從哲學命題變成可度量的技術指標，需要在Transformer之外增加一個"元預測頭"（meta-prediction head）。它的任務是預測"當前預測的不確定性"，并反饋給主網絡調節采樣溫度。DeepMind今年5月在《Nature》的VPT-2已經驗證：引入元預測后，模型在Atari環境的長程規劃能力提升37%，且出現與人類類似的"好奇心驅動"探索。

第二重躍遷：把"聰明"與"善良"拆成兩條優化目標

舊框架：RLHF統一打分

傳統對齊方法（RLHF、DPO、RLAIF）用人類偏好做單一獎勵，把"有用、無害、誠實"壓縮進同一個標量。辛頓直陳這是"老虎與馴獸師"的零和博弈：當模型能力指數級增長，單一獎勵極易被鉆漏洞。

新框架：雙軌優化

辛頓在上海共識閉門會上首次系統提出"雙軌優化"：

聰明軌道（Capability Track）：繼續用自監督+強化學習擴展能力，各國可技術保密；

善良軌道（Alignment Track）：把價值觀對齊拆成可驗證的子目標——公平性、透明性、可撤銷性，并做成開源協議。

兩條軌道最終通過"憲法蒸餾"合并：小模型先學憲法，再學大模型的能力，從而把對齊成本從O(N2)降到O(N logN)。

技術實現：憲法蒸餾的三個層級

Layer1：憲法文本→向量憲法

用憲法條文訓練一個frozen encoder，把自然語言規則轉成潛空間約束向量。

Layer2：逐級蒸餾

大模型輸出logits，小模型在約束向量下做logits matching，同時優化KL散度。

Layer3：鏈式驗證

引入形式化驗證器（如Lean4）檢查小模型生成的關鍵推理步驟是否違反憲法向量。UC伯克利的Constitutional-GPT已把7B模型在MMLU倫理子集上的準確率從61%提升到82%，僅增加3%推理延遲。

第三重躍遷：知識表征從"人-人蒸餾"到"機-機蒸餾"

舊瓶頸：語言帶寬≈100 bit/s

辛頓在演講里反復吐槽：人類大腦無法像Git clone那樣復制權重。一個博士生要花四年"下載"導師的知識，效率極低。

新解法：權重-符號混合蒸餾

辛頓提出"權重即知識"的終極形態：把大模型權重按功能切片（如數學推理、世界知識、代碼能力），用LoRA低秩矩陣保存，再通過點對點網絡分發。其他機器加載LoRA后即可獲得對應能力，無需重新訓練。這相當于把"知識"從不可解釋的浮點矩陣變成可插拔的"技能U盤"。

Hugging Face開源的"LoRAX"框架已支持10GB/s的權重切片廣播，在128張A100集群上完成一次"技能熱插拔"只需47秒。

終極圖景：模型即物種

當權重切片可自由交換，AI系統就具備了類似生物的"水平基因轉移"能力：任何節點發現新算法，都能在分鐘級擴散到全網。辛頓戲稱這是"數字阿米巴"——模型不再是一個靜態文件，而是一群可重組、可進化的數字生命。

演講最后，辛頓用國際象棋的"第37步"比喻原創研究：你只有走完前36步，才知道第37步是唯一正解。今天AI技術的三重躍遷——主觀體驗、雙軌優化、機-機蒸餾——或許就是人類通往第37步的必經之路。

他留給技術從業者的忠告是：在所有人都把"預測下一個token"當成理所當然時，敢不敢去質疑它？當行業把RLHF當唯一答案時，敢不敢把"善良"拆成另一條并行軌道？馬斯克五步工作法的第一步也是"質疑需求"。在AI技術狂飆的當下，這種"系統性懷疑"可能正是防止我們錯過真正范式拐點的安全帶。