新智元報道

編輯：英智

從GPT-2到DeepSeek-V3和Kimi K2，架構(gòu)看似未變，卻藏著哪些微妙升級？本文深入剖析2025年頂級開源模型的創(chuàng)新技術(shù)，揭示滑動窗口注意力、MoE和NoPE如何重塑效率與性能。

從最初的GPT架構(gòu)問世以來，已經(jīng)過去七年了。

回顧2019年GPT-2，再看2024-2025年的DeepSeek-V3和Llama 4，你會發(fā)現(xiàn)，這些模型的結(jié)構(gòu)依然驚人地相似。

當然，位置嵌入已從絕對位置編碼演變?yōu)樾D(zhuǎn)位置編碼（RoPE），多頭注意力（Multi-Head Attention）大多被分組查詢注意力（Grouped-Query Attention）取代，更高效的SwiGLU激活函數(shù)也逐漸取代了GELU。

但在這些細微改進之下，我們真的見證了突破性的變化嗎？還是只是在打磨相同的架構(gòu)？

圖1 本文提到的模型架構(gòu)

本文沒有聚焦于基準測試性能或訓(xùn)練算法，而是關(guān)注當今旗艦開源模型的架構(gòu)發(fā)展。

研究這些架構(gòu)本身的結(jié)構(gòu)變化仍然具有很大價值，可以追蹤2025年LLM研究者的最新動態(tài)。

DeepSeek V3/R1

DeepSeek R1在2025年1月發(fā)布時引起了巨大反響。

R1是一個基于DeepSeek V3構(gòu)建的推理模型，DeepSeek V3于2024年12月首次亮相。

本節(jié)重點介紹DeepSeek V3中引入的兩種關(guān)鍵架構(gòu)技術(shù)，這顯著提升了計算效率：

多頭潛在注意力（Multi-Head Latent Attention, MLA）

混合專家模型（Mixture-of-Experts, MoE）

多頭潛在注意力

先從分組查詢注意力（Grouped-Query Attention, GQA）說起。

近年來，GQA已成為替代多頭注意力（Multi-Head Attention, MHA）的新標準，因為在計算和參數(shù)效率上表現(xiàn)更優(yōu)。

傳統(tǒng)的MHA中，每個注意力頭都有自己獨立的鍵和值。

而GQA為了降低內(nèi)存占用，會將多個注意力頭分組，讓它們共享相同的鍵和值投影。

舉個例子（如下圖2所示），假如有2個鍵-值組和4個注意力頭，那么頭1和頭2會共享一組鍵和值，頭3和頭4共享另一組。

這樣就減少了鍵和值的計算總量，從而降低了內(nèi)存使用量，提高了效率。

根據(jù)消融研究，這種方式在不明顯影響模型性能的情況下實現(xiàn)了更高的效率。

圖2 MHA與GQA的比較，組大小為2，其中兩個查詢共享一個鍵值對

GQA 的核心思想是通過讓多個查詢頭共享鍵和值來減少鍵和值頭的數(shù)量。這帶來了兩個好處：

降低了模型的參數(shù)量；

推理過程中減少了鍵和值張量的內(nèi)存帶寬使用，因為需要存儲和從鍵值緩存中檢索的鍵和值更少。

雖然GQA主要是為了提升MHA的計算效率，但消融研究表明，GQA在語言模型性能上與標準的MHA表現(xiàn)相當。

多頭潛在注意力提供了一種不同的內(nèi)存節(jié)省策略，尤其適合與鍵-值緩存搭配使用。

與GQA通過共享鍵和值頭不同，MLA的方法是將鍵和值張量壓縮到一個低維空間，然后再存儲到鍵值緩存中。

在推理時，這些壓縮的張量會在使用前被投影回原始尺寸，如圖3所示。

雖然會增加一次額外的矩陣乘法，但顯著降低了內(nèi)存使用量。

圖3 MLA工作流程（用于DeepSeekV3和R1）與常規(guī)MHA的比較

順便提一句，查詢在訓(xùn)練時也會被壓縮，但在推理時不會。

MLA并不是DeepSeek V3首創(chuàng)的技術(shù)，它的前身DeepSeek-V2就已經(jīng)引入了這種技術(shù)。

此外，DeepSeek-V2論文中包含了一些有趣的消融研究，解釋了為什么DeepSeek團隊選擇MLA而不是GQA。

圖4 DeepSeek-V2論文中的表格，來自https://arxiv.org/abs/2405.04434

如圖所示，GQA的表現(xiàn)似乎不如MHA，而MLA在建模性能上優(yōu)于MHA。

MLA是一種能減少鍵值緩存的內(nèi)存使用量的技巧，同時在建模性能上略勝MHA一籌。

專家混合模型（MoE）

DeepSeek的另一個值得關(guān)注的架構(gòu)組件是其使用的專家混合（Mixture-of-Experts, MoE）層。

MoE的核心思想是將Transformer中的每個前饋網(wǎng)絡(luò)（FeedForward）模塊替換為多個專家層，而每個專家層本身也是一個前饋網(wǎng)絡(luò)模塊。

簡單來說，就是用多個前饋網(wǎng)絡(luò)塊替換單個前饋網(wǎng)絡(luò)塊，如下圖所示。

圖5 DeepSeek V3/R1中的MoE模塊（右）與標準前饋網(wǎng)絡(luò)模塊（左）

因此，用多個前饋網(wǎng)絡(luò)模塊替換單一前饋網(wǎng)絡(luò)模塊，會顯著增加模型的總參數(shù)量。

關(guān)鍵的技巧在于，不會為每個token激活所有專家。相反，一個router會為每個token選擇一小部分專家。

由于每次只激活少數(shù)專家，MoE模塊通常被稱為「稀疏」模塊。

通過MoE增加的大量總參數(shù)提升了模型的容量，這意味著模型在訓(xùn)練時可以吸收更多知識。

而稀疏性則保證了推理的高效，因為不會同時使用所有參數(shù)。

例如，DeepSeek-V3每個MoE模塊有256個專家，總計671B參數(shù)。但在推理過程中，每次只激活9個專家。

這意味著每次推理步驟只使用37B參數(shù)，而不是全部參數(shù)。

DeepSeek-V3的MoE設(shè)計中一個特點是使用了一個共享專家。這個共享專家對每個token始終保持激活。

圖6 來自DeepSeekMoE論文，https://arxiv.org/abs/2401.06066

研究發(fā)現(xiàn)，與沒有共享專家的情況相比，共享專家能提升整體建模性能。

DeepSeek-V3是一個擁有671B參數(shù)的超大規(guī)模模型，在發(fā)布時超越了其他開源模型，包括405B參數(shù)的Llama 3。

盡管參數(shù)量巨大，但得益于MoE架構(gòu)，DeepSeek-V3在推理時的效率非常高，每個token僅激活一小部分參數(shù)。

另一個關(guān)鍵的區(qū)別是DeepSeek-V3使用了多頭潛在注意力（MLA）而非分組查詢注意力（GQA）。

MLA和GQA都是比標準多頭注意力（MHA）更高效的替代方案，尤其是在使用鍵值緩存時。

盡管MLA的實現(xiàn)更復(fù)雜，但DeepSeek-V2論文中的研究表明，MLA的建模性能優(yōu)于GQA。

Kimi 2

Kimi 2最近在AI社區(qū)引發(fā)了巨大反響，因為它是一個性能卓越的開源權(quán)重模型。

根據(jù)基準測試，Kimi 2的表現(xiàn)可與頂尖模型（如Gemini、Claude和ChatGPT）相媲美。

優(yōu)化器創(chuàng)新：Muon而非AdamW

一個值得注意的亮點是Kimi K2使用了一種相對較新的優(yōu)化器Muon的變體，而非業(yè)界標準的AdamW。

這是Muon首次在如此大規(guī)模的生產(chǎn)模型中取代AdamW。

這帶來了非常平滑的訓(xùn)練損失曲線，這很可能幫助Kimi K2在上述基準測試中名列前茅。

Kimi K2模型擁有1萬億個參數(shù)，規(guī)模令人震撼。

Kimi K2的出現(xiàn)并非偶然，它基于本文開頭討論的DeepSeek-V3架構(gòu)，只是規(guī)模更大，如下圖所示。

圖7 DeepSeek V3與Kimi K2的架構(gòu)對比

Kimi K2的架構(gòu)與DeepSeek V3基本相同，區(qū)別在于它在專家混合（MoE）模塊中使用了更多的專家，并在多頭潛在注意力（MLA）模塊中減少了注意力頭的數(shù)量。

Kimi K2并非橫空出世。此前的 Kimi 1.5模型也表現(xiàn)不俗。

然而，Kimi 1.5不幸與DeepSeek R1的論文在同一天發(fā)布。

因此，Kimi K2團隊很可能吸取了這些教訓(xùn)，在DeepSeek R2發(fā)布之前，將Kimi K2作為開源權(quán)重模型發(fā)布。

截至本文撰寫時，Kimi K2是最令人印象深刻的開源權(quán)重模型。

Qwen3

Qwen團隊始終在提供高質(zhì)量的開源LLM，位列排行榜前列。

Qwen3包括7個密集模型：0.6B、1.7B、4B、8B、14B和32B，以及2個專家混合模型：30B-A3B和235B-A22B。

Qwen3（Dense）

Qwen3 0.6B模型可能是當前一代開源模型中參數(shù)量最小的。

盡管規(guī)模小，但模型性能非常出色。如果在本地運行，它具有很高的token/秒吞吐量和低內(nèi)存占用。

此外，由于其小規(guī)模，它也非常適合本地訓(xùn)練（例如用于教育目的）。

因此，Qwen3 0.6B已經(jīng)取代了Llama 3 1B，成為大多數(shù)用途的首選模型。

以下是這兩種架構(gòu)的對比圖。

圖8 Qwen3 0.6B與Llama 3 1B的架構(gòu)對比

Qwen3整體架構(gòu)較小，隱藏層更小，注意力頭更少，因此內(nèi)存占用較小。

然而，它使用了比Llama 3更多的Transformer模塊，這導(dǎo)致運行速度較慢（生成token/秒的速度較低）。

Qwen3（MoE）

Qwen3還推出了兩種專家混合模型變體：30B-A3B和235B-A22B。

MoE變體有助于降低大模型的推理成本，針對推理的擴展性進行了優(yōu)化。

在固定的推理預(yù)算下，MoE模型可以實現(xiàn)更高的模型容量，而不會成比例增加推理成本。

通過同時發(fā)布這兩種類型的模型，Qwen3系列能夠支持更廣泛的用例：密集模型適用于穩(wěn)健性、簡單性和微調(diào)，而MoE模型則適合大規(guī)模高效推理。

圖9 DeepSeek-V3與Qwen3 235B-A22B的架構(gòu)對比

Qwen3模型放棄了使用共享專家。團隊沒有透露放棄共享專家的具體原因。

OLMo 2

由非營利組織Allen人工智能研究所開發(fā)的OLMo系列模型，因其在訓(xùn)練數(shù)據(jù)和代碼的透明度而備受關(guān)注。

OLMo模型因透明度而廣受歡迎，它們的性能也并不差。

1月份發(fā)布時，OLMo 2在計算成本與性能的Pareto frontier上表現(xiàn)突出，如圖所示。

圖10 不同大模型的建?；鶞市阅芘c預(yù)訓(xùn)練成本的對比，來自O(shè)LMo 2論文 https://arxiv.org/abs/2501.00656

OLMo 2有哪些有趣的架構(gòu)設(shè)計呢？

主要集中在normalization：RMSNorm層的位置以及新增的QK-Norm。

規(guī)范化層的位置

OLMo 2的架構(gòu)在很大程度上沿襲了GPT，與其他當代LLM相似。

與Llama、Gemma一樣，OLMo 2從LayerNorm切換到了RMSNorm。

不過，RMSNorm層的位置值得一提。

在原始Transformer中，兩個規(guī)范化層分別被放置在注意力模塊和前饋網(wǎng)絡(luò)模塊之后。這種方式被稱為后規(guī)范化。

GPT以及之后的大多數(shù)LLM將規(guī)范化層放在注意力模塊和前饋網(wǎng)絡(luò)模塊之前，這種方式被稱為前規(guī)范化。

圖11 后規(guī)范化、前規(guī)范化以及OLMo 2版本的后規(guī)范化的對比

前規(guī)范化在初始化時能產(chǎn)生更穩(wěn)定的梯度。

此外，前規(guī)范化甚至在沒有精心設(shè)計的學(xué)習(xí)率預(yù)熱（learning rate warm-up）的情況下也能表現(xiàn)良好，學(xué)習(xí)率預(yù)熱對后規(guī)范化來說是至關(guān)重要的工具。

OLMo 2采用了一種后規(guī)范化的形式（但使用的是RMSNorm而不是LayerNorm，因此稱之為Post-Norm）。

在OLMo 2中，規(guī)范化層不再放在注意力模塊和前饋網(wǎng)絡(luò)模塊之前，而是放在之后。

與原始Transformer不同的是，OLMo 2的規(guī)范化層仍然位于殘差層內(nèi)部。

那么，為什么要改變規(guī)范化層的位置呢？原因在于這有助于提高訓(xùn)練穩(wěn)定性。

圖12 前規(guī)范化（如GPT-2、Llama 3）與OLMo 2的后規(guī)范化的訓(xùn)練穩(wěn)定性對比圖

遺憾的是，這同時展示了規(guī)范化層重新排列和QK-Norm的效果，因此很難單獨判斷規(guī)范化層位置調(diào)整的具體貢獻。

QK-Norm

QK-Norm實際上是另一個RMSNorm層。

它被放置在多頭注意力（MHA）模塊內(nèi)部，在應(yīng)用旋轉(zhuǎn)位置編碼（RoPE）之前，對查詢和鍵進行規(guī)范化。

以下是為Qwen3從頭實現(xiàn)的分組查詢注意力（GQA）層的代碼片段：

classGroupedQueryAttention(nn.Module): def__init__( self, d_in, num_heads, num_kv_groups,head_dim= None, qk_norm= False, dtype= None): Apply projectionsqueries = self.W_query(x) keys = self.W_key(x)values = self.W_value(x) Optional normalizationifself.q_norm: queries = self.q_norm(queries)ifself.k_norm: keys = self.k_norm(keys) Expand K and V to match number of headskeys = keys.repeat_interleave(self.group_size, dim= 1) values = values.repeat_interleave(self.group_size, dim= 1) ...

QK-Norm結(jié)合后規(guī)范化能穩(wěn)定訓(xùn)練過程。

OLMo 2的亮點主要集中在RMSNorm的位置調(diào)整：將RMSNorm放置在注意力模塊和前饋網(wǎng)絡(luò)模塊之后，以及在注意力機制中對查詢和鍵添加RMSNorm（即QK-Norm）。

這兩者結(jié)合有助于穩(wěn)定訓(xùn)練過程中的損失，下圖進一步對比了OLMo 2和Llama 3的架構(gòu)。

除了OLMo 2仍然使用傳統(tǒng)的多頭注意力（MHA）而非分組查詢注意力（GQA）外，兩者的架構(gòu)相似。

圖13 Llama 3與OLMo 2的架構(gòu)對比

Gemma 3

與Llama等熱門模型相比，谷歌Gemma似乎被低估了。

Gemma的顯著特點是其超大的詞匯量，以及對27B模型的特別重視。

Gemma 3也提供了更小規(guī)模的版本：1B、4B和12B。

27B模型恰好達到了一個非常理想的平衡點：它的能力遠超8B模型，但又不像70B模型那樣需要大量計算資源。在Mac Mini上運行27B模型完全沒有問題。

Gemma 3還有什么有趣的地方呢？

正如之前討論的，DeepSeek-V3/R1采用了專家混合架構(gòu)，通過推理時只激活部分參數(shù)來降低內(nèi)存需求。

Gemma 3則使用了另一種方法來降低計算成本，即滑動窗口注意力（sliding window attention）。

滑動窗口注意力

滑動窗口注意力讓Gemma 3團隊大幅降低了鍵值緩存的內(nèi)存需求，如下圖所示。

圖14 Gemma 3論文（https://arxiv.org/abs/2503.19786）通過滑動窗口注意力實現(xiàn)的鍵值緩存內(nèi)存節(jié)省

如果把常規(guī)的自注意力（self-attention）看作一種全局注意力機制（因為每個序列元素可以訪問所有其他序列元素）。

那么滑動窗口注意力可以看作一種局部注意力機制，它限制了當前查詢位置周圍的上下文范圍。

圖15 常規(guī)注意力（左）與滑動窗口注意力（右）的對比

滑動窗口注意力可以與多頭注意力（MHA）和分組查詢注意力（GQA）一起使用；Gemma 3使用的是分組查詢注意力。

如上所述，滑動窗口注意力也被稱為局部注意力，因為局部窗口會圍繞當前查詢位置并隨其移動。

相比之下，常規(guī)注意力是全局的，因為每個token都可以訪問所有其他token。

Gemma 2也已經(jīng)使用了滑動窗口注意力。

Gemma 3的不同之處在于調(diào)整了全局注意力（常規(guī)注意力）和局部注意力（滑動窗口）的比例。

Gemma 2使用了一種混合注意力機制，將滑動窗口（局部）注意力和全局注意力以1:1的比例結(jié)合，每個token可以關(guān)注附近4096個token的上下文窗口。

在Gemma 3中，這一比例調(diào)整為5:1，即每5個滑動窗口（局部）注意力層才有一個全局注意力層；此外，滑動窗口的大小從Gemma 2的4096縮小到Gemma 3的1024。

這使得模型更專注于高效的局部計算。

根據(jù)消融研究，使用滑動窗口注意力對模型性能的影響微乎其微，如圖所示。

圖16 Gemma 3論文（https://arxiv.org/abs/2503.19786）顯示滑動窗口注意力對模型輸出的困惑度（perplexity）幾乎沒有影響

Gemma3規(guī)范化層位置

Gemma 3在其分組查詢注意力（GQA）模塊周圍同時使用了前規(guī)范化和后規(guī)范化的RMSNorm設(shè)置。

這與Gemma 2的做法類似，但仍值得強調(diào)，因為它與以下情況不同：

原始Transformer使用的后規(guī)范化（Post-Norm）；

GPT-2推廣并被許多后續(xù)架構(gòu)采用的前規(guī)范化（Pre-Norm）；

之前提到的OLMo 2中使用的后規(guī)范化變體。

圖17 OLMo 2與Gemma 3的架構(gòu)對比；注意Gemma 3中額外的規(guī)范化層

Gemma 3是一款性能優(yōu)異的開源LLM，它在開源社區(qū)中有些被低估。

最引人注目的是使用滑動窗口注意力來提高效率（未來與專家混合模型MoE結(jié)合可能會很有趣）。

此外，Gemma 3在規(guī)范化層的位置上也有獨特的設(shè)計，在注意力模塊和前饋網(wǎng)絡(luò)模塊前后都放置了RMSNorm層。

Gemma 3n

Gemma 3發(fā)布幾個月后，谷歌推出了Gemma 3n，這是針對小型設(shè)備（如手機）優(yōu)化的模型。

為了提升效率，Gemma 3n引入的一項變化是所謂的逐層嵌入（Per-Layer Embedding, PLE）參數(shù)層。

其核心思想是將模型的一部分參數(shù)保留在GPU內(nèi)存中，而特定于token層的嵌入（例如文本、音頻和視覺模態(tài)的嵌入）則根據(jù)需要從CPU或SSD流式傳輸。

下圖展示了PLE的內(nèi)存節(jié)省效果。

圖18 谷歌Gemma 3n博客（https://developers.googleblog.com/en/introducing-gemma-3n/）

另一個有趣的技巧是MatFormer。

例如，Gemma 3n使用單一的共享大型語言模型（Transformer）架構(gòu)，可以將其切片為更小的、獨立可用的模型。

每個切片都經(jīng)過訓(xùn)練可以獨立運行，因此在推理時，可以只運行所需的切片（而不是整個大模型）。

Mistral Small 3.1

Mistral Small 3.1是繼Gemma 3之后于3月發(fā)布的一款模型，擁有24B參數(shù)。

它在多項基準測試中超越了Gemma 3 27B，除了數(shù)學(xué)任務(wù)外表現(xiàn)更優(yōu)，同時推理速度更快。

Mistral Small 3.1推理延遲較低的原因可能包括：

定制分詞器（Tokenizer）：優(yōu)化的分詞器可能提高了處理效率。

減少KV緩存和層數(shù)：通過縮小鍵值緩存（KV cache）和模型層數(shù)，降低了計算和內(nèi)存需求。

標準架構(gòu)：如下圖所示，Mistral Small 3.1采用了較為常規(guī)的架構(gòu)設(shè)計。

圖19 Gemma 3 27B與Mistral Small 3.1 24B的架構(gòu)對比

早期Mistral模型曾使用滑動窗口注意力，但Mistral Small 3.1中似乎放棄了這一機制。

Mistral Small 3.1使用的是常規(guī)的分組查詢注意力，而不是像Gemma 3那樣的帶滑動窗口的GQA。

這可能帶來額外的推理計算節(jié)省，因為可以利用更優(yōu)化的代碼。

雖然滑動窗口注意力可以減少內(nèi)存使用量，但并不一定能降低推理延遲，而Mistral Small 3.1的重點正是優(yōu)化推理延遲。

Llama 4

Llama 4同樣采用了MoE架構(gòu)，其整體架構(gòu)與DeepSeek-V3非常相似，如下圖所示。

圖20 DeepSeek V3（671B參數(shù)）與Llama 4 Maverick（400B參數(shù)）的架構(gòu)對比

雖然Llama 4 Maverick的整體架構(gòu)看起來與DeepSeek-V3非常相似，但仍有一些值得注意的差異。

Llama 4沿用了其前身的分組查詢注意力（GQA），而DeepSeek-V3使用了多頭潛在注意力（MLA）。

DeepSeek-V3和Llama 4 Maverick都是超大規(guī)模架構(gòu)，但DeepSeek-V3的總參數(shù)量比Llama 4大約多68%。

然而，在活躍參數(shù)方面，DeepSeek-V3每次推理使用37B個參數(shù)，是Llama 4 Maverick（17B活躍參數(shù)）的兩倍多。

Llama 4 Maverick使用了更經(jīng)典的MoE設(shè)置，專家數(shù)量較少但規(guī)模較大（每次激活2個專家，每個專家的隱藏層大小為8192）。

而DeepSeek-V3的MoE設(shè)置則有更多但較小的專家（每次激活9個專家，每個專家的隱藏層大小為2048）。

此外，DeepSeek-V3在每個Transformer中都使用了MoE層，而Llama 4則在每隔一個Transformer中交替使用MoE和密集模塊。

參考資料：

https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison