導(dǎo)讀 過(guò)去兩年，小語(yǔ)言模型（SLM）在業(yè)界備受關(guān)注：參數(shù)更少、結(jié)構(gòu)更輕，理應(yīng)在真實(shí)部署中 “更快”。但只要真正把它們跑在 GPU 上，結(jié)論往往令人意外 —— 小模型其實(shí)沒(méi)有想象中那么快。

參數(shù)縮小了，延遲卻常常沒(méi)有同步下降；結(jié)構(gòu)輕量化了，吞吐卻未必提升。這并非個(gè)別模型的問(wèn)題，而是小模型設(shè)計(jì)長(zhǎng)期忽略了一個(gè)根本事實(shí)：“模型更小” 并不等于 “延遲更友好”。

英偉達(dá)研究院就是從這一盲區(qū)重新出發(fā)：不是把大模型簡(jiǎn)單縮小，而是把 “真實(shí) GPU 延遲” 作為結(jié)構(gòu)設(shè)計(jì)的第一原則，全面重構(gòu)小模型應(yīng)該長(zhǎng)成的樣子。最終構(gòu)建的 Nemotron-Flash 模型同時(shí)實(shí)現(xiàn)了 SOTA 準(zhǔn)確率、低延遲、高吞吐，打敗了眾多業(yè)界小模型。Nemotron-Flash 已集成進(jìn) TensorRT-LLM，單 H100 GPU 吞吐可達(dá) 41K tokens/second。

該論文已被 NeurIPS 2025 接收，相關(guān)海報(bào)將于 12 月 4 日在 San Diego 展示。

論文鏈接：https://arxiv.org/pdf/2511.18890Hugging Face:

https://huggingface.co/nvidia/Nemotron-Flash-1B

https://huggingface.co/nvidia/Nemotron-Flash-3B

https://huggingface.co/nvidia/Nemotron-Flash-3B-Instruct

一、小模型為何不夠快？

真正跑在 GPU 上之后，一切才暴露

英偉達(dá)的分析揭示：小模型之所以不快，是三個(gè)長(zhǎng)期被忽視的因素造成的:

首先，是深寬比本身就是一個(gè)矛盾體。等參數(shù)比較時(shí)，模型越深往往越強(qiáng)；但在真實(shí) GPU 上，延遲對(duì) “層數(shù)” 極為敏感：層越多，kernel 調(diào)度越頻繁，延遲就越高。結(jié)果是一個(gè)反直覺(jué)的事實(shí)：想強(qiáng)要變深，想快要變寬。而大多數(shù)小模型都深而窄，自然在延遲上吃虧。

其次，Attention 成本依然是實(shí)現(xiàn)高吞吐的最大瓶頸。然而業(yè)界對(duì) Mamba2、DeltaNet 等高效算子的組合方式一直缺乏系統(tǒng)方法：哪些層該用 Attention，哪些層應(yīng)該交給 Linear Attention？沒(méi)有明確答案。

最后，小模型訓(xùn)練在后期往往會(huì) “提前退場(chǎng)”。權(quán)重尺度逐漸偏移、有效梯度下降、模型停滯不前 —— 結(jié)構(gòu)設(shè)計(jì)再好，容量也無(wú)法充分釋放。許多小模型的最終性能其實(shí)被訓(xùn)練本身限制住了，而不是被參數(shù)量限制。

英偉達(dá)正是從這三點(diǎn)出發(fā)，重新回答了 “小模型應(yīng)該長(zhǎng)成什么樣” 這一根本問(wèn)題。

二、Nemotron-Flash 的核心方法

從延遲重新定義小模型結(jié)構(gòu)

Nemotron-Flash 的方法論圍繞三個(gè)關(guān)鍵突破展開(kāi)，每一個(gè)都基于真實(shí) GPU 延遲，而非理論 FLOPs。

1. 深寬比優(yōu)化：深度負(fù)責(zé)能力，寬度負(fù)責(zé)速度，關(guān)鍵是找到黃金點(diǎn)

Nemotron-Flash 的大量真實(shí)設(shè)備實(shí)驗(yàn)揭示了小模型容易被忽略的規(guī)律：等參數(shù)下，越深越強(qiáng)；等延遲下，越寬越快。這兩者天然沖突，意味著：深寬比不是一個(gè)隨手調(diào)的超參，而是決定小模型最終能力和延遲的核心結(jié)構(gòu)維度。

通過(guò)繪制 “準(zhǔn)確率–延遲” 曲線(xiàn)，以及擬合準(zhǔn)確率和模型深度 / 寬度的 scaling law，英偉達(dá)最終找到一個(gè)穩(wěn)定的結(jié)論：模型必須 “足夠深” 才能保住表達(dá)能力；也必須 “足夠?qū)挕?才能降低實(shí)際延遲；最優(yōu)結(jié)構(gòu)正是深寬交匯的黃金點(diǎn)。Nemotron-Flash-1B/3B 就是根據(jù)這套規(guī)律得到的結(jié)構(gòu)，因此既不 “深得拖速度”，也不 “寬得能力不足”。

2. 混合算子結(jié)構(gòu)：真正的速度來(lái)自 “誰(shuí)和誰(shuí)搭配”，而不是單一的替代

Nemotron-Flash 的結(jié)構(gòu)創(chuàng)新并不是簡(jiǎn)單 “換上新算子”，而是為不同算子明確角色分工，并系統(tǒng)探索它們的最佳協(xié)作方式。英偉達(dá)先研究了各類(lèi)算子的準(zhǔn)確率–延遲 trade-off，據(jù)此構(gòu)建搜索空間，再使用遺傳算法尋找算子在不同層之間的最優(yōu)比例與位置。最終得到的架構(gòu)由 Attention、Mamba2、DeltaNet 和 FFN 共同組成，各自承擔(dān)不同職責(zé)：

Attention 負(fù)責(zé)全局依賴(lài)，但必須謹(jǐn)慎控制數(shù)量與位置。Mamba2、DeltaNet 等 Linear Attention 負(fù)責(zé)高吞吐的局部建模，是速度的主力層。FFN 提供穩(wěn)定的表達(dá)容量，是所有 block 的基礎(chǔ)骨架。

Nemotron-Flash 的結(jié)果顯示，小模型的能力和速度不取決于某個(gè) “更好的” 算子，而取決于算子之間的協(xié)作模式。這進(jìn)一步證明：面對(duì)真實(shí)延遲優(yōu)化時(shí)，混合架構(gòu)往往比任何單一結(jié)構(gòu)更具優(yōu)勢(shì)。

3. Weight Normalization：讓小模型在訓(xùn)練后期不再 “掉鏈子”

英偉達(dá)觀察到，小模型訓(xùn)練后期權(quán)重矩陣內(nèi)部會(huì)逐漸形成 structured outliers：隨著訓(xùn)練推進(jìn)，部分行或列會(huì)系統(tǒng)性地放大，出現(xiàn)遠(yuǎn)高于整體分布的大幅值結(jié)構(gòu)，成為隨著優(yōu)化過(guò)程累積產(chǎn)生的 “結(jié)構(gòu)化巨權(quán)重”。問(wèn)題在于：這些巨權(quán)重會(huì)拖慢乃至凍結(jié)訓(xùn)練后期的進(jìn)展。 當(dāng)某些方向的權(quán)重范數(shù)過(guò)大時(shí)，反向傳播的梯度在這些方向上被不斷縮放，導(dǎo)致 effective learning rate 急劇下降。模型看似還在更新，但實(shí)際已經(jīng) “踩不動(dòng)油門(mén)”，無(wú)法繼續(xù)提升。

Nemotron-Flash 的解決方案非常直接有效：在訓(xùn)練過(guò)程中的每個(gè) training iteration 后，對(duì)每個(gè)線(xiàn)性層施加顯式 weight normalization，即將模型權(quán)重投影到單位范數(shù)球面上。這一歸一化步驟去除了徑向分量，使更新主要發(fā)生在角度方向。在相同梯度幅度下，這會(huì)帶來(lái)更大的相對(duì)權(quán)重變化。

效果立竿見(jiàn)影：訓(xùn)練后期梯度不再被巨權(quán)重 “吃掉”，小模型可以持續(xù)學(xué)習(xí)，不會(huì)出現(xiàn)常見(jiàn)的 “后期停滯”。在各種模型上，最終收斂質(zhì)量明顯高于未使用 weight normalization 的基線(xiàn)模型。

三、Nemotron-Flash Model Family：又快又強(qiáng)

Nemotron-Flash 結(jié)合了上面所有技術(shù)，提供 1B 和 3B 兩種模型大小。在 H100 上的實(shí)測(cè)結(jié)果顯示：

Nemotron-Flash-1B 相比 Qwen3-0.6B，準(zhǔn)確率提升 5.5%，端側(cè)推理延遲（batch size=1）快 1.9×，最大吞吐高出 45.6×；Nemotron-Flash-3B 相比 Qwen2.5-3B 與 Qwen3-1.7B，準(zhǔn)確率提升 2%~5.5%，端側(cè)推理延遲（batch size=1）快 1.3×~1.7×，最大吞吐提升 6.4×~18.7×；Instruct 版本同樣領(lǐng)先，準(zhǔn)確率提升約 4.7%，吞吐最高可達(dá) 18.7×。

Nemotron-Flash 的速度與穩(wěn)定性讓小模型真正具備 “可規(guī)模部署” 的能力，能夠在關(guān)鍵業(yè)務(wù)場(chǎng)景中提供持續(xù)、可靠且低延遲的體驗(yàn) —— 例如在高并發(fā)在線(xiàn)服務(wù) 中（如搜索助手、智能客服），更快的響應(yīng)與更高吞吐意味著同樣的 GPU 可以服務(wù)更多用戶(hù)且體驗(yàn)更順滑；在端側(cè)與邊緣設(shè)備 上（如家用機(jī)器人、可穿戴 XR），Nemotron-Flash 的寬結(jié)構(gòu)與高速算子讓設(shè)備在有限算力下依然能保持實(shí)時(shí)反應(yīng)；而在成本敏感的企業(yè)私有化部署 場(chǎng)景（如金融、醫(yī)療），Nemotron-Flash 是既省成本又能落地高質(zhì)量 AI 功能的理想選擇。

結(jié)語(yǔ)

小模型的未來(lái)不是 “更小”，而是 “更快、更穩(wěn)、更強(qiáng)”。Nemotron-Flash 提供了小模型設(shè)計(jì)的新底層邏輯：深寬比必須圍繞延遲設(shè)計(jì)；算子組合必須有角色分工；訓(xùn)練必須保持后期穩(wěn)定性。通過(guò)這套方法，小模型擺脫了 “雖然小但不快” 的悖論，真正實(shí)現(xiàn)了：小而強(qiáng)，小而快，小而可用。

作者簡(jiǎn)介

文章第一作者為 Yonggan Fu (傅泳淦)，目前為英偉達(dá)研究院科學(xué)家。2025 年 5 月于 Georgia Institute of Technology 獲博士學(xué)位，2019 年畢業(yè)于中國(guó)科學(xué)技術(shù)大學(xué)少年班學(xué)院，雙修應(yīng)用物理與計(jì)算機(jī)科學(xué)。博士期間獲得 IBM PhD Fellowship 及 ML & Systems Rising Stars 2023。目前研究方向?yàn)楦咝Т竽Ｐ图軜?gòu)與算法。