機器之心報道

機器之心編輯部

當大模型參數量沖向萬億級，GPT-4o、Llama4 等模型不斷刷新性能上限時，AI 行業也正面臨前所未有的瓶頸。Transformer 架構效率低、算力消耗驚人、與物理世界脫節等問題日益凸顯，通用人工智能（AGI）的實現路徑亟待突破。中興通訊近期發布的論文《下一代 AI 大模型計算范式洞察》，深度剖析了當前 AI 發展的核心困境，同時勾勒出更具潛力的前沿探索方向，為行業發展提供了重要參考。

LLM 現狀及瓶頸：規模狂飆背后的隱憂

2020 年，OpenAI 揭示了大模型規模擴展定律（Scaling Laws）：大語言模型（LLM）的最終性能取決于計算量、參數量和訓練數據量的堆疊擴展。擁有 175B 參數量的 GPT-3 模型在自然語言理解、知識問答等多項任務中，取得了遠超同期模型的性能。近年來，以 DeepSeek-V3、GPT-4o、Llama4、Qwen3、Grok4 為代表的大模型無不在證明這個定律。

構建一款先進的基礎大模型，需要堆疊數十萬卡算力、收集數百 TB 海量語料，基于自回歸（AR）Transformer 架構，采用預訓練（Pre-training）和后訓練（Post-training）等手段，完成其內部近萬億參數量的訓練。整個訓練過程沉沒成本極為高昂，如 X.AI 的 Grok4 模型，在 2 個 150 MW 功率的數據中心構建的 20 萬卡分布式集群里，耗時半年才完成預訓練。因此，LLM 的預訓練探索和實踐主要在工業界完成，而學術界只能集中在理論層面的研究和較小規模（參數量 < 7B）的實踐。然而，盡管當前架構仍有一系列算法、硬件、工程、成本等瓶頸問題，但達成通用人工智能（AGI）的愿景以及 Scaling Law 的有效性使得產業界不斷增大投入，模型規模持續增加的趨勢短期內難以改變。

LLM 架構的架構瓶頸愈發突出

Transformer 架構的計算效率低，訪存需求大。特別是基于 Decode-only 的自回歸結構算術強度僅為 2，即每讀取 1 字節數據只能完成 2 次計算。卷積神經網絡（CNN）高達數百的算術強度，其高數據復用率可充分滿足 GPU / 特定領域架構（DSA）的矩陣乘加單元需求；而 Transformer 架構因數據搬移開銷較大，導致模型算力利用率（MFU）較低。同時，當前硬件難以并行運算 Transformer 架構中的 Softmax、Layer-norm、Swish 等特殊非線性算子。總之，LLM 架構對先進工藝和高帶寬存儲器（HBM）的依賴大、工程成本高，這是阻礙其規模應用、性能進一步提升的關鍵瓶頸。

未來，隨著基礎模型參數量的持續增加、推理模型長思維鏈輸出上下文長度的飆升，以及以生物制藥為代表的 AI for Science 等新型高性能計算應用的普及，Transformer 架構瓶頸將愈發突出，這與摩爾定律放緩的趨勢愈發矛盾。依賴先進工藝提升算力和能效的技術路徑將遭遇 “功耗墻”“內存墻” 等問題。計算和存儲分離的馮?諾依曼架構在大模型規模和算力不斷增長的需求下將面臨嚴峻挑戰。

AGI 之路爭議不斷

當前 LLM 在實踐過程中或多或少存在幻覺、可解釋性差等問題，這些問題在 Scaling Law 不斷提升模型能力的過程中被掩蓋。但 Transformer 自回歸架構的核心是 “Next Token Prediction”，導致部分 AI 科學家如 Yann Lecun 等認為，從稀疏編碼和等價映射原理看，現有 LLM 難以真正理解物理世界。目前的神經網絡（LLM 等）根本缺陷

1）神經元不具備內在學習、記憶、決策能力，智能只出現在網絡的宏觀層面；

2）當前 AI 的進步嚴重依賴于 “暴力縮放”

3）缺乏具身性與層次性。因此，關于物理世界映射、世界模型構建的路線，在學術界仍有很大爭議。

從工業界角度看，Scaling Law 路線仍然需要進一步探索，因為平臺期過后未必不存在指數上升的拐點。這種路線的核心是商業閉環下的工程優化能力，同時需探索非 AR 模式乃至非 transformer 模式的全新計算范式和算法。未來 AGI 的發展路線，大概是開發能 “感知”、能 “物理思考”、能 “實踐” 的認知大模型與具身大模型，這類模型需直接對齊可解釋組件，并能通過實踐反饋機制形成所謂的自主意識。因此，高能效端側硬件、高效率算法將成為探索具身大模型的工程化關鍵。

LLM 自回歸模式的工程改進和優化

針對前文所述問題，學術界和工業界基于自回歸 LLM 開展了一系列算法、系統、硬件的改進和優化工作。

算法層面：精準突破效率瓶頸

注意力機制優化成為抓手

文檔理解、代碼分析、檢索增強生成（RAG）等應用場景要求模型支持長上下文輸入，而以 DeepSeek-R1 為代表的推理模型又要求模型支持長思維鏈輸出。序列長度增加會導致自注意力機制計算復雜度呈 O (N2）上升。因此，分組查詢注意力（GQA）、多頭潛在注意力（MLA）等注意力機制的改進，以及以 Flash-Attention 為代表的算子優化，已被廣泛采用，Linear-attention、RWKV、Mamba 等線性注意力機制嶄露頭角。此外，旋轉位置編碼（RoPE）插值方案被進一步優化，部分注意力機制如原生稀疏注意力（NSA）、混合塊注意力（MoBA），以及針對多卡場景的長上下文推理框架（如 Ring-attention、Tree-attention），也被用來降低計算量。

低精度量化落地應用

Decode-only 架構中典型的運算過程是矩陣向量乘法（GEMV），該運算數據搬移頻繁、計算效率低，既消耗算力，又占用帶寬。

利用硬件原生 FP8、FP4、MXFP 等低精度數據類型進行模型量化，既能夠有效減少內存帶寬需求，又可以等效增加芯片算力利用率。現有研究證明，4-bit 量化擁有相對最優擴展率，在推理場景中已得到實際應用。然而，量化引入的誤差，難免導致模型能力下降，同時非線性層的量化 / 反量化操作也有額外開銷。因此，量化技術只能緩解計算和帶寬瓶頸。

循環遞歸參數復用探索創新

循環式 Transformer 架構，例如 Universal Transformer、混合專家（MoE）Universal Transformer（MoEUT）等，通過跨層共享參數實現深度遞歸。這類架構引入循環神經網絡的遞歸表達能力后，通過參數共享使權重可支持多次計算，從而有效提升算術強度，在內存帶寬受限時提升系統性能。然而，當前這種架構的實驗規模較小，其擴展后的表達能力和穩定性尚不明確。

集群系統改進：協同提升運行效率

傳統 CNN（如 ResNet、Yolo）的網絡參數量和計算量只在 MB 和 GOPS（（10 億次每秒））量級，在當前百 TOPS 級別（2TOPS/W）的算力單元中，通常單卡 / 單機即可工作。而現代 LLM 由于巨大的參數量和計算量，會不可避免地引入多卡 / 多機的集群系統，通過張量并行（TP）、數據并行（DP）、流水線并行（PP）和專家并行（EP）等并行計算范式，加速訓練和推理過程。

基于 MoE 的分布式計算范式可以降低超大參數規模模型的訓練強度，通過每次前向計算時僅激活 top-K 個專家，計算量與稠密模型相比降低倍數 = top-K / 總專家數，從而降低算力需求，如 Deepseek V3 將前饋神經網絡（FFN）的計算量縮減為原來的 1/32。

P/D 分離的部署可以利用 Prefill/Decode 在計算和帶寬需求上的差異：Prefill 階段是計算密集型，追求 TTFT；Decode 階段是訪存密集型，追求 TPOT。二者分離部署，不僅互不影響，還能充分利用硬件利用率。

云端 AI 系統能夠協同解決端測算力資源受限情況下的大模型部署問題。端測部署參數量較小的模型，可實現本地實時推理。對于復雜任務的拆解和深度思考任務，可通過云端部署參數量較大的模型來完成。分析結果將被反饋至端測，從而通過端云 AI 協同搭建 “快慢思考” 系統。

硬件工程：技術創新突破限制

LLM 集群借用了傳統高性能計算（HPC）集群工程經驗來優化當前計算范式，具有以下工程化技術創新：

1）微架構 DSA 化：在通用圖形處理器（GPGPU）中，引入了更多 DSA 領域采用的專用架構設計。如 Nvidia GPU Tensor Core 引入異步數據搬移模式以及混合精度訓練，借鑒數據流計算范式的相關經驗。

2）互聯優化：通過將集群劃分為 Scale Up 和 Scale Out 域，引入匹配計算范式的互聯技術。Scale Up 作為高帶寬域，使用總線類技術（如 Nvlink），提供 200 ns 超低延遲、數千節點高并行度、原生內存語義的超節點連接，以擺脫 Amdahl's law 擴展率的約束。而 Scale Out 則借用遠程直接內存訪問（RDMA）類技術支持通用擴展，復用 HPC 集合通信原語（如 NCCL），建立并行算軟件模型。

3）光電混合集群：在當前國產化算力能力受限情況下，基于硅光工藝以及晶圓級擴展的 “小電算、大光聯” 軟硬件架構有望成為構建萬卡、10 萬卡以上集群的關鍵技術。

4）新型計算范式：在解決帶寬問題的過程中，“存算一體” 等突破馮氏架構 “內存墻”“功耗墻” 限制的一些新型計算范式也得到了高度關注。

5）算網存仿真平臺：萬卡以上超大規模集群部署的尋優問題，需要通過仿真平臺對算、網、存系統進行算力部署和工作流的優化。構建高準確率、高時效性的仿真架構是亟待研究的問題。

當前，有兩個前瞻性硬件工程技術至關重要：

1）基于光 IO 技術重構先進計算體系結構，是優化 LLM 計算范式的關鍵技術。可助力 Scale Up 百納秒級超低延遲的超節點連接、內存池化和拉遠等架構級創新。

2）基于 3D 動態隨機存取存儲器（DRAM）和無容 DRAM 提供大容量、高帶寬的內存，并結合 LLM 計算范式 “讀多寫少”“順序多于隨機” 等訪存特點，采取異構介質（如高帶寬閃存）、層次化緩存、壓縮計算、存算一體等架構設計，構建超越高帶寬內存（HBM）的新型內存體系

下一代 AI 大模型計算范式演進和展望

通過 Scaling Laws 持續擴展超大參數模型實現 AGI 的路線受到算力、帶寬、能耗、語料多方面的限制。AGI 的實現也許需要引入根本性變革，如將基于物理第一性原理的算法模型與計算基材硬件工程相結合。

發展趨勢：向物理原理與硬件協同演進

產業界正在探索不以 Next-Token Prediction 為核心的下一代 AI 大模型范式。基于能量、動力學等第一性原理的模型由于能有效表述各種分布并在物理系統中自然演化，有望成為下一代 AI 大模型的核心架構。例如，由 Hinton 提出的玻爾茲曼機，受統計物理中伊辛模型和玻爾茲曼分布的啟發，引入了隨機、遞歸的神經網絡，能夠學習數據的潛在分布，解決復雜組合優化問題。后續的受限玻爾茲曼機和深度置信網絡，促進了人工智能技術的快速發展，并促進了生成式模型在圖像生成、自然語言處理和強化學習等領域中的廣泛應用。

然而，這些基于能量、動力學原理的模型在現有馮?諾依曼計算機上運行時，其能耗和計算效率仍面臨顯著挑戰。這是因為，基于布爾邏輯的確定性計算架構，在處理基于統計和概率的生成式模型時面臨以下兩個關鍵問題：其一，互補金屬氧化物半導體（CMOS）器件的物理特性限制了其在隨機過程模擬方面的硬件實現能力；其二，在面對自然語言處理中的語義模糊性、動態環境下的實時決策等非確定性需求時，現有計算范式效率顯著下降。這一瓶頸催生了面向統計和概率等新型計算范式的需求：通過算法和硬件聯合設計，打破存儲器與運算器分離的傳統流程。這有望大幅提升能效比和計算性能，為突破當前 AI 算力瓶頸提供全新思路。

兩大模型發展方向

其一，可能仍是 Transformer，但不再是 Next Token Prediction 自回歸。從更高抽象空間、更強表達能力、長期學習能力的目標出發，設計新一代模型結構，代表工作包括：

Diffusion LLM 架構，代表模型包括 LLaDA、Mercury 等，通過擴散方法將自回歸模型串行化生成過程，改進為從粗粒度到細粒度的并行化生成過程。在相同計算資源和模型規模下，這種架構能夠提升 10 倍以上的推理吞吐量，將計算能耗減少到原架構的 1/10，同時提升模型的逆向推理能力和上下文關注長度等指標性能；

聯合嵌入預測架構，代表模型包括聯合嵌入預測模型（JEPA）、大型概念模型（LCM）等，通過將語言、圖像、視頻等數據編碼到高層潛空間中，學習世界模型級別的抽象表示，并在表示空間中通過基于能量的模型替代基于概率的模型進行預測，從而有效提升模型的表達效果與規劃能力。

其二，基于物理第一性原理，從計算基材特性出發，根據物理過程的動力學特性、能量變化趨勢設計模型架構和數據流，代表工作包括：

液態神經模型（LFM），代表模型包括液態結構狀態空間模型（LSSM），其核心原理是液態時間常數（LTCN）模型，這是一種由小型生物神經動力學模型啟發的新型時間連續循環神經網絡（RNN），可以通過反向傳播進行訓練，并在時間序列預測任務中表現出良好的邊界和穩定動態特性、卓越的表達能力和較高的內存效率。

（2）以 Hopfield 網絡、受限玻爾茲曼機（RBM）、深度置信網絡（DBN）等為代表的基于能量的模型（EBM），為概率密度估計和表示學習提供了一種統一的框架。這類模型的理論基礎都可追溯到統計物理中的自旋玻璃模型。EBM 通過定義能量函數來表示所希望學習的概率分布，因而也可作為生成模型來學習數據分布并生成與訓練數據類似的新樣本。與顯式定義概率分布的模型相比，EBM 具有更大的靈活性，能夠建模更加復雜的依賴關系。近年來，基于能量的模型理論仍在不斷發展，同時也面臨不少挑戰。其中，配分函數的計算和采樣效率問題仍是制約模型應用的主要瓶頸。此外，能量函數的設計缺乏系統的指導原則，往往需要依賴經驗和啟發式方法。同時，模型的理論性質如表達能力、泛化性能亦缺乏更深入的研究。

三大新型計算范式

在未來 AI 計算中，相較于算力，能耗將成為更為根本的限制。現有 AI 計算低效的根本原因是，神經網絡的實現依賴于傳統馮?諾依曼計算架構通過二進制操作 “模擬” 神經網絡的計算。這種方法實質上是使用高精度的邏輯計算來處理僅需低精度的人工智能任務，大量能量被用于數據搬移和糾錯，導致資源的低效利用。為了在進一步提高計算性能的同時降低計算能耗，研究者們探索了多種新型計算范式，其主要思想是采用非馮?諾依曼計算結構和存算一體。目前比較重要和熱點的研究包括如下路線：

物理原理啟發的計算架構

物理神經網絡（PNN）是利用物理第一性原理構建人工智能的技術路徑。現有技術路線包括光計算、量子計算、電磁計算等。

光計算是一種利用光子作為信息載體進行計算和傳輸的計算模式，具有超高速度、超高帶寬、低延遲、高并行等優勢。光計算利用光干涉、衍射、強度 / 相位調制等物理特性直接在模擬域執行特定的計算任務，尤其在 AI 計算中展現出顛覆性潛力。例如，清華研究團隊推出了太極系列光計算系統，利用空間對稱和互易特性實現了訓推一體的光神經網絡（ONN）。但光計算目前仍面臨集成度、器件性能、系統復雜度、精度、軟件生態等多重嚴峻挑戰，成熟度仍然較低。

量子計算是一種遵循量子力學規律調控量子信息單元進行計算的新型計算模式。現有的量子算法和量子神經網絡框架需在有限的量子比特和較大的計算錯誤率約束條件下運行。例如，使用量子加權張量混合網絡（QWTHN）實現大模型微調，將 FFN 訓練轉化為二次無約束二次規劃問題（QUBO）并通過量子 Ising 機求解，利用量子位構建儲層并實現儲備池計算等。然而，量子計算目前由于技術路線未收斂、量子比特位數量有限、工作環境苛刻等問題，暫時難以實現廣泛應用。

電磁計算是直接利用電磁波（微波、毫米波、太赫茲波）的特性進行信息處理，而非依賴傳統的電子開關狀態。其核心優勢包括超高速操作、高并行性、低傳輸損耗等。計算實現形式主要分為微波 / 毫米波模擬計算、可編程電磁處理以及電磁存內計算。電磁計算通過物理定律直接映射數學運算，在特定領域（線性變換、實時處理）展現出應用潛力，當前仍處于實驗室階段。

基于材料特性的模擬計算架構

研究者們正探索多種神經形態器件，這些器件利用材料的本征物理現象模擬生物系統的復雜行為，通過特定的連接方式，構建單元間相互耦合的系統，能夠利用系統自身演化特性替代傳統計算過程。因此，利用材料的本征特性，推動算法、軟件與硬件的聯合設計，有望根本性地改變傳統 AI 算法軟件與硬件割裂的局面，從而實現軟硬件的協同優化。現有技術路線包括概率計算、吸引子網絡、熱力學計算等。

概率計算系統依賴于具有真隨機特性的概率比特單元（p-bit），是位于量子計算和數字邏輯之間的中間計算范式，能夠比傳統計算機更好地利用自然和概率的潛在屬性，在組合優化、因式分解、密鑰生成、馬爾可夫鏈蒙特卡洛（MCMC）采樣等應用場景中均有較大優勢。此外，概率計算系統還能夠訓練隨機神經網絡和深度生成模型，例如深度玻爾茲曼機。

吸引子是動力系統中不同初始條件下趨向的一組數值，可以在動力學系統中實現記憶功能。2024 年，SUN 等利用可變電阻式存儲器（RRAM）器件的雙向阻變特性實現回滯型神經元，并據此構建了一種雙極性憶阻器電路涌現的循環神經網絡，相比于傳統 Hopfield 網絡具有硬件高效、記憶容量大等優勢。

熱力學計算基于熱力學原理，利用自然界固有的計算能力，開發新的信息處理網絡的設計原則，應用于未來計算系統。Normal Computing 通過構建具有精確表達的狀態空間、表現力豐富的非線性函數以及可擴展能力的硬件單元，從而高效地從復雜分布中進行采樣，解決物理仿真和機器學習任務中的計算瓶頸問題。

生物啟發的計算架構

生物啟發計算通過模擬自然系統的信息處理機制重構計算架構，突破傳統馮?諾依曼瓶頸。目前主流的研究方向包括類腦計算和 DNA 計算等。

類腦計算泛指一類受腦啟發的新型信息處理架構，這類架構依托大規模并行計算平臺，有望突破存儲與計算分離的馮?諾依曼架構瓶頸，為通用智能問題提供高能效解決方案。

DNA 計算是一種利用分子的生化特性進行信息存儲與處理的新型計算范式，具有高存儲密度、低功耗等優勢。未來 DNA 計算將通過硅基和生物混合計算，賦能 AI 時代數據處理。

生物啟發計算架構正從專用加速器向通用計算范式躍遷。短期看，類腦計算芯片在邊緣智能領域將率先爆發；中長期則將形成 “硅基 + 生物群體協同” 的融合架構，最終實現生物級能效的智能計算系統。

中興通訊面向下一代 AI 大模型計算范式的探索與實踐

中興通訊在微架構層面進行創新，例如，利用 8T SRAM 數字存內計算技術實現高能效 AI 加速器。同時也在進行 XPU-PIM 異構架構探索，該架構基于壓縮和量化實現端側大模型加速，在能效和吞吐量上相比常規 GPU 具有數量級提升。

中興通訊在新型 AI 算法和硬件實現方面，探索了從物理第一性原理出發的新型技術路線。例如，基于循環式 Transformer 架構的高效參數共享特性，中興通訊探索了其在替代多層 Transformer 架構上的能力。使用 GPT-2 small 的單個 Transformer 層作為模型 “基塊”，可以在減少超 50% 參數量的同時保持模型的表達能力不下降。隨著基塊結構的改進，基塊層數和循環次數可以進一步降低。

同時，稀疏玻爾茲曼機（DBM）架構由于其稀疏特性和基于最小化能量的推理目標，特別適合利用非易失性存儲器執行端側低功耗任務。在數千神經元的規模下，利用 GPU 完成單 batch 訓練需要超過 10 小時。而基于 FPGA 的 DBM 的快速計算單元，采用概率計算范式，通過例化數千個神經元及它們之間的稀疏連接，從而將單 batch 的訓練時間縮短至 5 分鐘，實現了超過 2 個數量級的加速效果。未來，使用 RRAM、MRAM 等非易失性存儲器件，能夠進一步降低計算開銷，提升推理速度，以滿足 DBM 在端側推理場景的廣泛應用需求。

此外，在光連接、新型內存等支撐性工程技術，以及計算存儲分離的數據池化系統、內存語義互聯系統、大規模仿真平臺等架構技術方面，中興通訊也展開了一系列前瞻性研究，例如通過結合大模型訪存特征，定制化內存設計實現大帶寬 Ucie-memory，提升大模型推理性能；

結語

從 GPT-3 到如今的萬億級模型，大模型的規模擴張之路成就了 AI 的飛速發展，但也暴露了架構效率、算力消耗、物理世界適配等深層次問題。中興通訊的這篇論文清晰呈現了行業現狀：一方面，自回歸 Transformer 架構通過算法優化、集群升級、硬件創新持續發揮余熱；另一方面，超越傳統范式的探索已全面展開，物理第一性原理模型與新型計算基材的融合，正成為 AGI 的關鍵突破口。

當 AI 行業從 “規模競賽” 轉向 “效率革命”，軟硬件協同設計、跨學科技術融合將成為核心競爭力。中興通訊的探索實踐，不僅為自身搶占了技術高地，也為行業探索更高效、更可持續的發展方向貢獻了力量。未來，隨著這些前沿技術的不斷成熟，AI 有望真正擺脫對暴力縮放的依賴，朝著理解物理世界、具備自主意識的通用智能穩步邁進。