“其實(shí)我已經(jīng)不需要發(fā)論文，也已經(jīng)很久不再自己動手寫代碼做實(shí)驗(yàn)了，但是為了這篇論文我重新下場做實(shí)驗(yàn)。主要?jiǎng)恿κ窍Ｍ咽虑楦闱宄！眮嗰R遜云上海人工智能研究院院長張崢告訴 DeepTech。

圖 | 張崢（https://zzhang-cn.github.io/）

在最近一篇論文中，他提出了計(jì)算裂腦綜合征的新概念，借此闡述了大模型的一個(gè)根本性缺陷：即它們能夠清晰地闡述正確的原則，卻無法可靠地應(yīng)用這些原則。也就是說，從結(jié)構(gòu)角度來看，大模型并沒有掌握規(guī)則，它只是表面上看懂，并沒有真正做符號上的推理。

知其然而不能其然

張崢舉例稱，包括人類在內(nèi)的生物在進(jìn)化過程中獲得了很多能力，但是生物卻無法描述自己為何擁有了新的能力。“能而不知其所以然”（Competence without Comprehension）是美國哲學(xué)家丹尼爾·克萊門特·丹尼特（Daniel Clement Dennett III）提出的一個(gè)觀察。對于生物來說它們更多是因?yàn)榄h(huán)境壓力而長出了某種能力，比如變色龍為了躲避敵人而讓自己的皮膚改變顏色。但是，這個(gè)能力是怎么來的？它的規(guī)則和計(jì)算是怎樣的？變色龍本身并不清楚。

但對于大模型來說卻正相反，它們展現(xiàn)出理解而不能執(zhí)行的現(xiàn)象，能夠流利地解釋原理，卻無法可靠地執(zhí)行這些原理。當(dāng)讓它抽象地判斷兩個(gè)數(shù)字的大小、血緣關(guān)系如何分析時(shí)，它可以講得頭頭是道，但是它自己執(zhí)行起來卻經(jīng)常搞錯(cuò)。而本次論文正是研究了這一問題。

盡管當(dāng)前有很多 Transformer 的變種，但只要依賴大量文本的無監(jiān)督訓(xùn)練，只要模型大框架不變，就會面臨一個(gè)本質(zhì)問題：模型能夠回答問題，但本身并不是在做計(jì)算，因此不具備抽象的推理能力。所以，涉及多個(gè)步驟的問題，即便看上去非常簡單，往往都不能放心地交給大模型。

本次研究之中，張崢通過受控實(shí)驗(yàn)和架構(gòu)分析揭示了這種現(xiàn)象的根本原因，即這種計(jì)算裂腦綜合征源于 Transformer 架構(gòu)的三個(gè)相互依賴的約束條件。值得注意的是，單獨(dú)的任何一個(gè)約束都不會致命，但它們系統(tǒng)性地相互強(qiáng)化，阻止了大模型在理解和能力之間建立可靠的橋梁。

Transformer 架構(gòu)中的三個(gè)限制

上下文平均化

上下文平均化，是 Transformer 架構(gòu)中的第一個(gè)限制。不管計(jì)算是黑盒還是明盒，都會有輸入和輸出。假如你面前有一個(gè)計(jì)算器，不管你在上面按什么數(shù)字，在計(jì)算之前這些輸入都會遵循數(shù)學(xué)上的規(guī)律，比如它明確地知道 9 比 11 小了兩個(gè)數(shù)字。更重要的是，這些數(shù)字在計(jì)算器的內(nèi)部表示中保持著等距性質(zhì)——數(shù)值之間的大小關(guān)系在表示空間中得到一致的保持。

但是，由于大模型在訓(xùn)練的過程中，它本身的向量表達(dá)中混合了很多上下文的內(nèi)容。比如，“9.11”可以是一個(gè)軟件的版本，也可以指一個(gè)歷史事件，因此當(dāng)大模型看到“9.9”和“9.11”的時(shí)候也混入了軟件版本或日期等信息。這種上下文混合破壞了數(shù)值表示的等距性質(zhì)。大模型會把所有單個(gè)輸入都壓縮成為一個(gè)向量，這個(gè)向量包含了訓(xùn)練中出現(xiàn)過的所有上下文的信息。因此，無論是讓大模型做數(shù)學(xué)計(jì)算還是做日期計(jì)算，都要把數(shù)值的性質(zhì)去模糊化，而這個(gè)是大模型不能自動做的。

（https://arxiv.org/pdf/2507.10624）

對于人類來說，當(dāng)我們說 9.11“小于”9.9，我們是在比較兩個(gè)數(shù)值；而說“大于”時(shí)可能是指版本號。人類能夠根據(jù)上下文自動進(jìn)行域綁定，將同一個(gè)符號映射到不同的語義空間。

但是，大模型并不會做這種轉(zhuǎn)化。在訓(xùn)練完成后，所有 token 都隱含了上下文的語義關(guān)系，導(dǎo)致它在做數(shù)學(xué)計(jì)算時(shí)出現(xiàn)混亂。

此前，業(yè)內(nèi)已有研究將 Transformer 從零開始訓(xùn)練，專門針對數(shù)學(xué)或邏輯推理單一領(lǐng)域，似乎能夠找到一些“腦回路”。但這種單域訓(xùn)練的結(jié)論無法泛化到通用場景。

對于通用大模型，優(yōu)化目標(biāo)是在所有上下文中都表現(xiàn)良好，這必然導(dǎo)致不同上下文的混雜。這種上下文污染是結(jié)構(gòu)性的、不可避免的。即使在邏輯推理中平衡“A 是 B”和“B 是 A”的訓(xùn)練頻率，模型仍會為每種句法形式學(xué)習(xí)獨(dú)立的模式匹配規(guī)則，而不是理解對稱的邏輯關(guān)系。

計(jì)算不可能性

計(jì)算不可能性，是 Transformer 架構(gòu)中的第二個(gè)限制。

假設(shè)輸入向量沒有被上下文污染，大模型要做的似乎就是一個(gè)簡單的乘法。但這種“簡單”只是假象。要實(shí)現(xiàn)精確的乘法，模型參數(shù)必須恰好優(yōu)化到能夠激活專門的乘法回路——這在理論上是不可能的。

從數(shù)學(xué)角度看，問題的根源在于架構(gòu)限制。基于 ReLU 激活函數(shù)的前饋網(wǎng)絡(luò)只能實(shí)現(xiàn)分段線性函數(shù)，而精確的符號運(yùn)算（如乘法）需要非線性變量交互。這種交互無法通過權(quán)重配置單獨(dú)實(shí)現(xiàn)，構(gòu)成了架構(gòu)上的根本障礙。

因此，Transformer 模型無法直接執(zhí)行乘法，更無法處理任何高階算法，只能進(jìn)行近似模擬。大模型本質(zhì)上采用“分層擬合”策略：將復(fù)雜運(yùn)算拆解成小塊，通過多層協(xié)調(diào)逐步逼近目標(biāo)輸出。

（https://arxiv.org/pdf/2507.10624）

這揭示了大模型的核心機(jī)制——"知識打碎-重組"過程。如何拆解、如何重組完全依賴于訓(xùn)練過程和語料分布，這正是大模型可解釋性面臨根本困難的原因。

指令執(zhí)行分離

指令執(zhí)行分離，是 Transformer 架構(gòu)中的第三個(gè)限制。

以豎式乘法為例：人類執(zhí)行時(shí)需要按位對齊、逐位相乘、記錄部分積、最后求和——這是一套完整的符號計(jì)算算法。大模型可以將這個(gè)算法背得爛熟，甚至能夠教授給兒童，展現(xiàn)出完美的“理解”能力。

但是，當(dāng)輪到自己執(zhí)行時(shí)，大模型依然只是在做擬合，無法自動調(diào)用已學(xué)會的算法。

問題的根源在于訓(xùn)練目標(biāo)的無差別性。對于下一個(gè) token 預(yù)測而言，算法描述和具體計(jì)算實(shí)例都只是需要預(yù)測的文本序列，訓(xùn)練過程不存在將兩者自動綁定的機(jī)制。換句話說，“算法知識”和“執(zhí)行能力”在模型內(nèi)部占據(jù)著不同的表征空間。

（https://arxiv.org/pdf/2507.10624）

這種分離是結(jié)構(gòu)性的：大模型天生無法將抽象算法自動匹配到具體實(shí)例。指令理解和執(zhí)行實(shí)現(xiàn)在幾何空間上的分離，正是“計(jì)算裂腦綜合征”的根本原因。

何時(shí)用大模型，何時(shí)不用大模型

張崢指出，這篇論文揭示了一個(gè)根本性問題：這種“計(jì)算裂腦”現(xiàn)象具有普遍性——無論數(shù)值計(jì)算還是邏輯運(yùn)算，只要涉及符號計(jì)算和算法應(yīng)用，都會出現(xiàn)這一問題。“理論上可能不存在可解釋的神經(jīng)計(jì)算回路，至少當(dāng)前的通用大模型沒有，只有一些抽象的統(tǒng)計(jì)規(guī)律。”

這帶來了深刻的可解釋性問題。大模型自我生成的解釋（如思維鏈）以及機(jī)制可解釋性研究，從理論上說都可能是"不忠實(shí)的"，存在訓(xùn)練路徑依賴。在當(dāng)前 Transformer 架構(gòu)下，這個(gè)問題是結(jié)構(gòu)性的，需要根本性創(chuàng)新而非漸進(jìn)式改進(jìn)。

這一發(fā)現(xiàn)對高風(fēng)險(xiǎn)應(yīng)用意義重大。在醫(yī)療診斷、法律分析等關(guān)鍵領(lǐng)域，不應(yīng)將大模型作為獨(dú)立推理系統(tǒng)，而需要"腳手架"、外部驗(yàn)證或混合架構(gòu)支持。

那么，張崢希望這篇論文帶來怎樣的影響？首先是讓大家明確何時(shí)能用、何時(shí)不能用大模型。

“大模型的工具調(diào)用歷來被視為效率優(yōu)化，但這篇論文指出：工具調(diào)用不是可選項(xiàng)，而是架構(gòu)必需。”這種認(rèn)知轉(zhuǎn)變帶來新挑戰(zhàn)：攻擊面大幅增加，同時(shí)面臨關(guān)鍵的元認(rèn)知問題——大模型需要準(zhǔn)確判斷何時(shí)調(diào)用工具，避免多步調(diào)用中的累積錯(cuò)誤。

張崢還提醒可解釋性研究者：狹窄范圍內(nèi)的可解釋性研究缺乏泛化性。一旦構(gòu)建通用大模型，這些研究基礎(chǔ)可能完全失效。

“既要認(rèn)識大模型的強(qiáng)大，也要認(rèn)識其局限。”以 AI+Science 為例，大模型無法學(xué)會可泛化的理論公式。“如果模型無法通過觀察推導(dǎo)普適定律或可泛化的算法，就不具備真正智能。大模型刷榜意義不大，關(guān)鍵是完成科學(xué)研究閉環(huán)。”他說。

這項(xiàng)研究的深層意義在于為下一代智能系統(tǒng)指明方向：需要元認(rèn)知腳手架、提升表示能力、原則性執(zhí)行的架構(gòu)支持——能夠推理而非僅僅反應(yīng)的系統(tǒng)。

當(dāng)前約束似乎不可避免：上下文平均化源于多樣化語料預(yù)測，前饋網(wǎng)絡(luò)被迫進(jìn)行模式組裝而非原則計(jì)算。計(jì)算裂腦綜合征將持續(xù)存在，除非通過根本性架構(gòu)創(chuàng)新解決。

“我只是一個(gè)好奇心很重的研究者”

對于自己在當(dāng)前 AI 領(lǐng)域的角色定位，張崢表示自己只是一個(gè)好奇心很重的研究者，他說自己當(dāng)然希望 AI 能夠蓬勃發(fā)展，但也希望國內(nèi) AI 圈不要過于聚焦刷榜，不要總是圍繞一個(gè)小補(bǔ)丁做改進(jìn)。他說：“我還是希望大家冷靜地回到一些貌似很簡單但深挖下去很有趣的問題上，沉下心做一些比較基礎(chǔ)的研究。”

如果說寫這篇論文是為了帶給大模型領(lǐng)域一些新的思考，那么作為一名曾在上海紐約大學(xué)教過書的老師，張崢也于 2025 年春天啟動了一個(gè)獨(dú)特的嘗試：用大模型來教大模型做課程。他說這是一個(gè)"活"的課程，可以根據(jù)最新的研究成果來翻新課程，同時(shí)可以成為科研從業(yè)者的很好的老師。總之，作為中國 AI 研究領(lǐng)域的前輩，他還將繼續(xù)行走下去，“可以做、值得做的問題太多了。”他說。

參考資料：

1.https://zzhang-cn.github.io/

2.https://arxiv.org/pdf/2507.10624

3.https://github.com/zzhang-cn/LLM4LLM/

4.https://www.goodreads.com/user/show/50187028-zheng-zhang

運(yùn)營/排版：何晨龍