新智元報(bào)道

編輯：定慧

2025年底，AI戰(zhàn)局繼續(xù)撲朔迷離，賣(mài)鏟子的英偉達(dá)似乎也想要下場(chǎng)挖礦了。12月15日英偉達(dá)對(duì)外宣布Nemotron 3家族（Nano/Super/Ultra），Nano先發(fā)布，Super/Ultra規(guī)劃在2026年上半年。

長(zhǎng)久以來(lái)，全世界都習(xí)慣默認(rèn)AI領(lǐng)域遵循一種分工：英偉達(dá)和其他。

其他包括：OpenAI、meta、谷歌、DeepSeek、xAI等等。

分工的原則也很簡(jiǎn)單：賣(mài)鏟子和用鏟子的。

最近谷歌靠著TPU，具備了和英偉達(dá)掰一掰手腕的能力。但短期內(nèi)依然難以撼動(dòng)英偉達(dá)

只要金礦還在，無(wú)論誰(shuí)挖到了金子，賣(mài)鏟子的人永遠(yuǎn)穩(wěn)賺不賠。

這種商業(yè)模式讓英偉達(dá)的市值一度沖破天際，成為全球最賺錢(qián)的科技公司之一。

然而，2025年底，英偉達(dá)似乎不再滿足于這種狀態(tài)，它想親自下場(chǎng)挖礦。

英偉達(dá)正式發(fā)布了全新的開(kāi)源模型家族——Nemotron 3。

這不僅僅是一次例行的產(chǎn)品更新，更像是一次精心策劃的戰(zhàn)略突襲。

英偉達(dá)不再滿足于僅僅提供硬件底座，它親自下場(chǎng)了，而且一出手就是顛覆性的「王炸」：

Mamba架構(gòu)、MoE（混合專(zhuān)家模型）、混合架構(gòu)、100萬(wàn)Context（上下文窗口）。

Nemotron 3系列開(kāi)源模型涵蓋Nano、Super和Ultra三種規(guī)格。

Nemotron 3是英偉達(dá)對(duì)OpenAI或meta開(kāi)源的一次簡(jiǎn)單模仿嗎？還是黃仁勛的玩票之舉？

解剖Nemotron 3

縫合怪還是終極進(jìn)化體？

在AI的競(jìng)技場(chǎng)上，架構(gòu)就是命運(yùn)。

過(guò)去幾年，Transformer架構(gòu)如日中天，它是ChatGPT的靈魂，是Llama的基石，是所有大模型的底層。

但隨著模型參數(shù)的膨脹和應(yīng)用場(chǎng)景的深入，Transformer的瓶頸也日益凸顯：推理成本高、顯存占用大、處理超長(zhǎng)文本時(shí)效率低下。

英偉達(dá)這次推出的Nemotron 3家族，并非單純的Transformer模型，而是一個(gè)集眾家之長(zhǎng)的「混血王子」。

它極其大膽地融合了Mamba（狀態(tài)空間模型）、Transformer（注意力機(jī)制）和MoE（混合專(zhuān)家模型）三大頂尖技術(shù)。

其中，Nemotron 3 Nano通過(guò)突破性的混合專(zhuān)家架構(gòu)，吞吐量比Nemotron 2 Nano提升4倍。

Nemotron憑借先進(jìn)的強(qiáng)化學(xué)習(xí)技術(shù)，通過(guò)大規(guī)模并發(fā)多環(huán)境后訓(xùn)練實(shí)現(xiàn)了卓越的準(zhǔn)確性。

NVIDIA率先發(fā)布了一套最先進(jìn)的開(kāi)源模型、訓(xùn)練數(shù)據(jù)集以及強(qiáng)化學(xué)習(xí)環(huán)境和庫(kù)，用于構(gòu)建高精度、高效率的專(zhuān)用AI智能體。

家族譜系：不僅僅是「大、中、小」

Nemotron 3并非單指一個(gè)模型，而是一個(gè)完整的家族矩陣，旨在覆蓋從端側(cè)設(shè)備到云端超級(jí)計(jì)算機(jī)的全場(chǎng)景需求。

根據(jù)英偉達(dá)的規(guī)劃，這個(gè)家族主要包含三位成員，每一位都身負(fù)不同的戰(zhàn)略使命：

Nemotron 3 Nano（現(xiàn)已發(fā)布）：邊緣側(cè)的「特種兵」

參數(shù)規(guī)模：總參數(shù)量30B（300億），但推理時(shí)激活參數(shù)僅為3B（30億）左右。

核心定位：它是家族中的先鋒，主打高效推理和邊緣計(jì)算。在消費(fèi)級(jí)顯卡甚至高端筆記本上就能流暢運(yùn)行。

技術(shù)亮點(diǎn)：它是目前市面上最強(qiáng)的「小鋼炮」，利用混合架構(gòu)實(shí)現(xiàn)了極致的吞吐量，專(zhuān)門(mén)針對(duì)需要快速響應(yīng)的Agent（智能體）任務(wù)設(shè)計(jì)。

戰(zhàn)略意義：Nano的存在是為了證明「混合架構(gòu)」的可行性，并迅速占領(lǐng)開(kāi)發(fā)者桌面和端側(cè)設(shè)備市場(chǎng)。

Nemotron 3 Super（預(yù)計(jì)2026上半年）

參數(shù)規(guī)模：約100B（1000億），激活參數(shù)約10B。

核心定位：面向企業(yè)級(jí)應(yīng)用和多智能體（Multi-Agent）協(xié)作的中樞。它需要在性能與成本之間找到完美的平衡點(diǎn)。

技術(shù)躍遷：預(yù)計(jì)將引入更高級(jí)的Latent MoE技術(shù)，專(zhuān)為復(fù)雜的企業(yè)工作流設(shè)計(jì)。

Nemotron 3 Ultra（預(yù)計(jì)2026上半年）：挑戰(zhàn)GPT-5

參數(shù)規(guī)模：約500B（5000億），激活參數(shù)約50B。

核心定位：家族的旗艦，處理最復(fù)雜的推理、科研和深度規(guī)劃任務(wù)。

野心：直接對(duì)標(biāo)GPT-5級(jí)別的閉源模型，旨在成為開(kāi)源界的推理天花板。它將展示英偉達(dá)在超大規(guī)模集群上的訓(xùn)練能力。

Nemotron 3 Nano它不僅僅是一個(gè)模型，更是一個(gè)技術(shù)驗(yàn)證平臺(tái)，證明了「Mamba+MoE」在小參數(shù)下也能爆發(fā)出驚人的戰(zhàn)斗力。

Mamba架構(gòu)：向Transformer的「內(nèi)存殺手」宣戰(zhàn)

要理解Nemotron 3的革命性，首先得聊聊Mamba。

為什么英偉達(dá)要在一個(gè)主流模型中引入這個(gè)相對(duì)「小眾」的架構(gòu)？

在LLM（大語(yǔ)言模型）的世界里，Transformer是絕對(duì)的霸主，但它有一個(gè)致命的弱點(diǎn)：

隨著輸入內(nèi)容的變長(zhǎng)，它的計(jì)算量和內(nèi)存消耗呈平方級(jí)爆炸式增長(zhǎng)。

想象一下，你讀一本書(shū)。

如果你是Transformer，讀第一頁(yè)時(shí)很輕松；讀到第一千頁(yè)時(shí)，為了理解當(dāng)前的句子，你必須同時(shí)在腦海里復(fù)盤(pán)前999頁(yè)的每一個(gè)字與當(dāng)前字的關(guān)系（注意力機(jī)制）。

這需要巨大的「腦容量」（顯存）。當(dāng)上下文達(dá)到10萬(wàn)、100萬(wàn)字時(shí)，任何現(xiàn)有的GPU都會(huì)被瞬間撐爆。

Mamba則不同。它基于SSM（狀態(tài)空間模型，State Space Models），本質(zhì)上更像是一個(gè)擁有超強(qiáng)短期記憶的循環(huán)神經(jīng)網(wǎng)絡(luò)。

它閱讀的方式更像人類(lèi)：讀過(guò)去的內(nèi)容會(huì)被「消化」進(jìn)一個(gè)固定大小的記憶狀態(tài)（State）中，不需要時(shí)刻回頭翻看每一個(gè)字。

論文地址：https://arxiv.org/pdf/2312.00752

Mamba的核心優(yōu)勢(shì)：

線性復(fù)雜度（O(N)）：

無(wú)論書(shū)有多厚，Mamba的推理消耗幾乎是恒定的。讀1萬(wàn)字和讀100萬(wàn)字，對(duì)顯存的壓力幾乎一樣。

推理速度極快：

因?yàn)椴恍枰?jì)算龐大的KVCache（鍵值緩存）注意力矩陣，Mamba的生成速度（吞吐量）極高。

無(wú)限上下文的潛力：

理論上，Mamba可以處理極長(zhǎng)的序列而不會(huì)撐爆顯存。

然而，Mamba也有短板。

在處理極其復(fù)雜的邏輯推理、或者需要「回頭看」精準(zhǔn)定位某個(gè)信息點(diǎn)（Copying/Recall任務(wù)）時(shí)，它的表現(xiàn)不如Transformer的Attention機(jī)制精準(zhǔn)。

因?yàn)樾畔⒃诒粔嚎s進(jìn)「狀態(tài)」時(shí)，難免會(huì)有損耗。

英偉達(dá)的解法：成年人不做選擇，我全都要。

Nemotron 3采用了Hybrid Mamba-Transformer（混合Mamba-Transformer）架構(gòu)。

這是一個(gè)聰明的設(shè)計(jì)：

Mamba層（主力）：負(fù)責(zé)處理海量的上下文信息，構(gòu)建長(zhǎng)期的記憶流，保證模型「讀得快、記得多、省顯存」。這構(gòu)成了模型的主干。

Transformer層（輔助）：在關(guān)鍵節(jié)點(diǎn)插入Attention層，負(fù)責(zé)「精準(zhǔn)打擊」，處理需要高度邏輯推理和細(xì)節(jié)回調(diào)的任務(wù)。

這種設(shè)計(jì)讓Nemotron 3 Nano擁有了100萬(wàn)token（1M）的超長(zhǎng)上下文窗口，同時(shí)推理速度比同尺寸的純Transformer模型快了4倍。

MoE架構(gòu)：把大象裝進(jìn)冰箱的魔法

如果說(shuō)Mamba解決了「長(zhǎng)」的問(wèn)題，那么MoE（Mixture of Experts，混合專(zhuān)家）就解決了「大」的問(wèn)題。

傳統(tǒng)的稠密模型（Dense Model）像是一個(gè)全能通才，不管你問(wèn)什么問(wèn)題（是寫(xiě)詩(shī)還是算數(shù)），它都要調(diào)動(dòng)大腦里所有的神經(jīng)元來(lái)思考。

這非常浪費(fèi)算力。

MoE架構(gòu)則像是一個(gè)「專(zhuān)家團(tuán)」。

在Nemotron 3 Nano這個(gè)30B的模型里，住著128個(gè)不同的「專(zhuān)家」（Experts）。

NVFP4：英偉達(dá)「新霸權(quán)」

這是英偉達(dá)硬件霸權(quán)的直接體現(xiàn)。

Nemotron 3 Super/Ultra將采用NVFP4格式進(jìn)行訓(xùn)練和推理。

論文鏈接：https://arxiv.org/html/2509.25149v1

Blackwell專(zhuān)屬：這是英偉達(dá)下一代GPU架構(gòu)Blackwell的原生支持格式。

極致壓縮：相比現(xiàn)在的FP16（16位浮點(diǎn)）或BF16，NVFP4將模型體積壓縮了3.5倍。

精度無(wú)損：許多人擔(dān)心4-bit精度會(huì)讓模型變笨。

英偉達(dá)利用特殊的兩級(jí)縮放（Two-levelScaling）技術(shù)，結(jié)合塊級(jí)（Block-level）和張量級(jí)（Tensor-level）的縮放因子，在4-bit這種極低精度下，依然保持了模型的高性能。

這意味著什么？

這意味著，未來(lái)的500B巨型模型（Ultra），可能只需要現(xiàn)在100B模型的顯存就能跑起來(lái)。

但這有一個(gè)前提：你必須用英偉達(dá)的Blackwell顯卡。

這是一個(gè)極其隱蔽但致命的「軟硬件鎖定」策略。

英偉達(dá)正在通過(guò)數(shù)據(jù)格式，為自己的硬件挖一條深深的護(hù)城河。

此外，英偉達(dá)還推出了「NeMo Gym」強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)室，并罕見(jiàn)地開(kāi)源了訓(xùn)練數(shù)據(jù)，旨在為開(kāi)發(fā)者提供構(gòu)建AI智能體的完整工具鏈。

英偉達(dá)的「陽(yáng)謀」

為什么英偉達(dá)這個(gè)在這個(gè)星球上最賺錢(qián)的芯片公司，還要費(fèi)盡心機(jī)去搞一個(gè)開(kāi)源模型？

甚至不惜投入巨大的資源去研發(fā)Mamba這種非主流架構(gòu)？

從「賣(mài)鏟子」到「定義挖礦標(biāo)準(zhǔn)」

過(guò)去，英偉達(dá)是單純的「賣(mài)鏟子」。

不管你用PyTorch還是TensorFlow，不管你跑Llama還是GPT，只要你買(mǎi)H100/H200/GB200，黃仁勛就開(kāi)心。

但現(xiàn)在，市場(chǎng)變了。

危機(jī)正在逼近：

競(jìng)爭(zhēng)對(duì)手崛起：

AMD的ROCm正在追趕；谷歌的TPU在自家生態(tài)里極其便宜且強(qiáng)大，甚至能做到比英偉達(dá)便宜一半；各大云廠商（AWS、Azure）都在自研推理芯片。

模型架構(gòu)分化：

如果未來(lái)的模型不再依賴(lài)CUDA優(yōu)化，或者專(zhuān)門(mén)針對(duì)TPU優(yōu)化，英偉達(dá)的護(hù)城河就會(huì)變淺。

發(fā)布Nemotron 3，英偉達(dá)實(shí)際上是想要定義下一代AI的標(biāo)準(zhǔn)。

推廣Mamba架構(gòu)：Mamba架構(gòu)雖然好，但對(duì)硬件優(yōu)化要求極高（需要高效的并行掃描算法）。

誰(shuí)最懂如何在GPU上跑Mamba？

當(dāng)然是英偉達(dá)。通過(guò)開(kāi)源高性能的Mamba模型，英偉達(dá)在誘導(dǎo)開(kāi)發(fā)者使用這種架構(gòu)。

一旦生態(tài)形成，大家會(huì)發(fā)現(xiàn)：只有在英偉達(dá)的GPU上，Mamba才能跑得這么快。這就在算法層面鎖死了硬件選擇。

NVFP4的鎖定：這是一個(gè)更露骨的陽(yáng)謀。

Nemotron 3 Super/Ultra使用NVFP4格式。這是一種只有Blackwell GPU原生支持的格式。

如果你想用最高效、最先進(jìn)的開(kāi)源模型？請(qǐng)購(gòu)買(mǎi)Blackwell顯卡。

英偉達(dá)不再滿足于你用它的卡，它要你用它的架構(gòu)、它的數(shù)據(jù)格式、它的軟件棧。

它要讓整個(gè)AI生態(tài)長(zhǎng)在它的硅基底座上。

Nemotron 3的發(fā)布，標(biāo)志著AI行業(yè)進(jìn)入了一個(gè)新的階段。

英偉達(dá)正在構(gòu)筑一個(gè)閉環(huán)的開(kāi)放生態(tài)。聽(tīng)起來(lái)很矛盾？不，這正是高明之處。

從戰(zhàn)術(shù)上看，這是一款極其優(yōu)秀的模型。它快、準(zhǔn)、省，解決了企業(yè)部署AI的痛點(diǎn)，特別是對(duì)于那些想做Agent、想處理長(zhǎng)文檔的公司來(lái)說(shuō)，Nemotron 3 Nano似乎也是一個(gè)不錯(cuò)的答案。

從戰(zhàn)略上看，這是英偉達(dá)構(gòu)建「AI帝國(guó)」最關(guān)鍵的一塊拼圖。

硬件：Blackwell GPU+NVlink+NVFP4。

軟件：CUDA+NeMo+TensorRT。

模型：Nemotron(Mamba+MoE)。

應(yīng)用：NIMs(Nvidia Inference Microservices)。

它開(kāi)放模型權(quán)重，讓誰(shuí)都能用；但它封閉最佳體驗(yàn)，只有在英偉達(dá)的全棧生態(tài)里，你才能獲得那4倍的加速、那極致的壓縮、那絲滑的部署體驗(yàn)。

對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，這是一場(chǎng)盛宴。有了更強(qiáng)的開(kāi)源工具，能做更酷的事情。

對(duì)于競(jìng)爭(zhēng)對(duì)手來(lái)說(shuō)，這是一場(chǎng)噩夢(mèng)。追趕英偉達(dá)的難度，從單純?cè)斐鲂酒兂闪艘斐鲂酒⑦€要適配架構(gòu)、還要優(yōu)化軟件、還要提供模型……這是一場(chǎng)全維度的戰(zhàn)爭(zhēng)。

Nemotron 3就像是黃仁勛扔進(jìn)AI湖面的一顆石子，漣漪才剛剛開(kāi)始擴(kuò)散。

2026年，當(dāng)500B參數(shù)的Nemotron Ultra帶著Latent MoE和NVFP4降臨時(shí)，那或許才是AI大戰(zhàn)真正的「諾曼底」時(shí)刻。

彩蛋

不過(guò)，想要做好大模型并不是容易的事情。

英偉達(dá)最新Nemotron 3在開(kāi)源榜單中排名已經(jīng)出來(lái)了。

Nemotron 3 Nano（30B-A3B）目前在文本排行榜上排名第120位，得分為1328分，在開(kāi)源模型中排名第47位。

參考資料：

https://nvidianews.nvidia.com/news/nvidia-debuts-nemotron-3-family-of-open-models

https://venturebeat.com/ai/nvidia-debuts-nemotron-3-with-hybrid-moe-and-mamba-transformer-to-drive

https://www.wired.com/story/nvidia-becomes-major-model-maker-nemotron-3/

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！