作者：周源/華爾街見聞

7月28日，智譜AI發布旗艦模型GLM-4.5并開源。GLM-4.5是一款專為智能體應用研發的基礎模型，在性能、成本控制與多能力融合等方面均有出色表現。

在這些技術突破的背后，哪些因素起了支撐作用？

智譜AI核心團隊主要來自清華大學KEG（知識工程）實驗室：董事長劉德兵、CEO張鵬和總裁王紹蘭均為KEG實驗室核心成員，張鵬和王紹蘭同為清華創新領軍工程博士，首席科學家唐杰曾任清華大學計算機系教授。

從GLM-1到GLM-4.5經歷四年多迭代。

早期（2021年）GLM模型（10B）就已探索了Transformer架構的優化，2022年推出參數規模達130B的GLM-130B，2023年推出的GLM-3嘗試了混合專家（MoE）架構的輕量化設計，為后續參數效率提升奠定基礎，其小步快跑的迭代模式，讓團隊對模型架構的理解不斷深化。

GLM系列的LLM（大語言模型：Large Language Model）基于Transformer架構構建。

GLM-130B采用DeepNorm（一種用于穩定深層Transformer模型訓練的歸一化方法）作為層歸一化（Layer Normalization）策略，并在前饋網絡（FFN）中使用旋轉位置嵌入（RoPE），以及配備GeLU激活函數的門控線性單元（GLU：Gated Linear Unit，常用于增強模型對特征的選擇性和處理）。

這些都表明早期GLM模型對Transformer架構做了探索與優化。

之后的GLM-3，采用獨創的多階段增強預訓練方法，基于當時最新的高效動態推理和顯存優化技術，其推理框架在相同硬件和模型條件下，相較于當時最佳的開源實現，推理速度提升2-3倍，推理成本降低1倍。

這說明GLM-3在模型架構優化等方面有顯著進展，為后續參數效率提升奠定了基礎，也有助于對不同任務的特征分布，形成長期數據積累。

業界有些團隊或成立時間較短，或中途轉向大模型研發，缺乏這種持續的技術沉淀，難以在架構細節上實現精細化優化。

多數團隊在大模型研發中更傾向于堆參數量的密集型架構，認為參數量與性能呈正相關。2023年到2024年底，“百模大戰”期間，眾多企業將參數量、評測分數作為核心指標，試圖通過擴大模型規模來提升模型能力。

大模型中激活參數占比與模型架構、稀疏激活技術等相關，若企業過于追求參數量而未優化架構和技術，可能導致激活參數占比低。

智譜AI做法與眾不同，從GLM-2開始，堅持“高效參數”路線：不去盲目擴大總參數量，而是通過優化專家模塊的協同機制提升效率。

比如GLM-4.5的3550億總參數中，激活參數320億，占比約9%，每個專家模塊僅負責特定領域任務（如代碼模塊專注Python與Javascript，推理模塊專注數學與邏輯），模塊間通過輕量化路由層銜接，避免密集型架構中參數冗余的問題。

同時發布的還有GLM-4.5-Air，總參數1060億，激活參數120億，激活占比約11%。

這種路徑需要更細致的拆解任務類型，而部分團隊因擔心架構復雜度上升導致研發周期延長，仍選擇更穩妥的密集型架構。

至于參數激活占比，這個關系到調用推理的商業成本：相同參數量下，激活參數占比低意味著更多參數未有效參與推理計算，造成算力浪費，導致推理成本上升。

GLM-4.5之所以能做到“參數效率翻倍，API價格僅為Claude（美國人工智能初創公司 Anthropic發布的大模型家族）的1/10（輸入0.8元/百萬 tokens、輸出2元/百萬tokens），速度超100tokens/秒”，就因為激活參數占比較高。

GLM-4.5的訓練數據采用“通用+垂直”的雙層結構：底層是15萬億token的通用文本（與多數團隊類似），上層是8萬億token的垂直領域數據，且按“推理-代碼-智能體”三類任務單獨標注。

插一句：在深度學習尤其是自然語言處理（NLP）領域，token是指文本中的最小有意義的邏輯單元，也是模型用來表示自然語言文本的基本單位，還是模型計費單元，類似于計算存儲和處理二進制數據的基本單位——字節（byte）。

GLM-4.5的標注方法并非簡單分類，而是為每個任務設計專屬的訓練目標，比如推理任務側重邏輯鏈完整性，代碼任務側重語法正確性。

智譜AI是國內首批推進大模型開源的企業之一，2023年GLM-2開源后積累規模龐大的開發者社區。這些開發者不僅反饋bug，更貢獻了大量輕量化部署方案。GLM-4.5的“思考/非思考模式”切換功能，底層調度算法很可能來自社區開發者的優化建議。

智譜AI的官方通稿稱，“首次實現推理、代碼、Agent等多能力原生融合”，那么多能力融合的技術壁壘是什么？為什么此前業界沒有同類模型能力？

多能力融合需解決模塊協同難題：推理模塊的邏輯思維與代碼模塊的語法規則分屬不同認知范式，強行融合易導致能力稀釋。

此前業界有些團隊嘗試通過“拼接式”融合（在推理模型后嫁接代碼模塊）實現，但模塊間缺乏共享參數，導致響應速度大幅下降。

GLM-4.5采用了統一底層架構，需要從模型設計初期就規劃參數共享機制，這對架構設計能力要求極高，多數團隊暫未突破這一技術瓶頸。

若以此說業界有些團隊技術能力較差，也有失偏頗；多數情況下，很多技術團隊受商業化的壓力較大，因此更傾向于快速推出閉源商業模型意圖變現，導致研發周期被壓縮，測試時間有限，在推動多能力融合時出現穩定性問題，可感知的這類問題，比如連續調用工具時概率性崩潰。

自2019年成立以來，智譜AI經歷了至少11輪融資，故而資金壓力應當不是很大，看上去在優化架構時顯得很有耐心，能用較長時間做多能力協同的專項優化，這種耐心在當前追求短期回報的行業環境中較為稀缺。

智譜GLM-4.5的突破，本質是技術積累、路徑選擇與生態協同的綜合結果。

這個多能力融合大模型的推出，表明大模型競爭已從單點參數規模轉向系統效率與生態活力，這或許為行業提供了新的發展參照和性能評價標準。