近日，Nvidia 正式發(fā)布了一款新型小型語言模型 Nemotron-Nano-9B-v2，標(biāo)志著小型模型的熱潮再度升溫。

該模型具備9億個參數(shù)，雖然相較于其他數(shù)百萬參數(shù)的小型模型而言規(guī)模更大，但較原始的12億參數(shù)已大幅縮減，旨在能夠在一臺 Nvidia A10GPU 上高效運(yùn)行。Nvidia 的 AI 模型后訓(xùn)練總監(jiān) Oleksii Kuchiaev 在社交平臺上表示，減少參數(shù)的目的在于更好地適應(yīng)部署需求，并且該模型采用了混合架構(gòu)，可以在處理較大批量時比類似尺寸的變換模型快6倍。

Nemotron-Nano-9B-v2支持多種語言，包括英語、德語、西班牙語、法語、意大利語、日語等，適用于指令跟隨和代碼生成等任務(wù)。該模型的設(shè)計還包括一項創(chuàng)新功能 —— 用戶可以通過簡單的控制令牌來切換 AI 的 “推理” 過程，即在給出答案之前進(jìn)行自我檢查。系統(tǒng)默認(rèn)會生成推理痕跡，但用戶可通過如 /think 或 /no_think 等命令來控制此過程。此外，模型還引入了 “思考預(yù)算” 管理機(jī)制，允許開發(fā)者設(shè)定推理過程中所使用的標(biāo)記數(shù)量，以在準(zhǔn)確性與響應(yīng)速度之間取得平衡。

根據(jù)測試結(jié)果，Nemotron-Nano-9B-v2在多個基準(zhǔn)測試中表現(xiàn)優(yōu)異。在 “推理開啟” 模式下，該模型在 AIME25、MATH500、GPQA 和 LiveCodeBench 等測試中都取得了令人滿意的成績。此外，它在指令跟隨和長上下文基準(zhǔn)測試中同樣表現(xiàn)出色，顯示出相較于其他開放小型模型更高的準(zhǔn)確性。

Nvidia 為這一模型設(shè)定了開放許可協(xié)議，允許開發(fā)者在商業(yè)上自由使用與分發(fā)，并明確不對生成的輸出聲索所有權(quán)。這意味著企業(yè)可以在無需額外協(xié)商的情況下立即將該模型投入生產(chǎn)，而不必?fù)?dān)心使用門檻或費(fèi)用。

Nvidia 的 Nemotron-Nano-9B-v2模型為需要在小規(guī)模上實現(xiàn)推理能力與高效部署的開發(fā)者提供了新工具。其運(yùn)行預(yù)算控制和推理切換功能為系統(tǒng)構(gòu)建者提供了靈活性，旨在提高準(zhǔn)確性和響應(yīng)速度，進(jìn)一步推動小型語言模型的發(fā)展。

劃重點(diǎn):