今天，我們正式推出了 Ring-mini-2.0，這是一款基于 Ling-mini-2.0架構(gòu)深度優(yōu)化的高性能推理型 MoE 模型。Ring-mini-2.0的總參數(shù)量達(dá)到16B，但在實(shí)際運(yùn)行中僅需激活1.4B 參數(shù)，便能實(shí)現(xiàn)相當(dāng)于10B 級(jí)別以下的密集模型的推理能力。

這款模型在邏輯推理、編程和數(shù)學(xué)任務(wù)中表現(xiàn)尤為出色，支持128K 的長上下文，使得其在各種應(yīng)用場(chǎng)景中都能展現(xiàn)出強(qiáng)大的能力。此外，Ring-mini-2.0的生成速度也相當(dāng)驚人，能夠?qū)崿F(xiàn)300+ token/s 的快速生成，經(jīng)過優(yōu)化后更是可以突破500+ token/s。

圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

在推理能力的提升方面，Ring-mini-2.0在 Ling-mini-2.0-base 的基礎(chǔ)上進(jìn)行了更深層次的訓(xùn)練，通過 Long-COT SFT、大規(guī)模 RLVR 和 RLHF 的聯(lián)合優(yōu)化，顯著增強(qiáng)了模型在復(fù)雜推理任務(wù)中的穩(wěn)定性和泛化能力。我們?cè)诙鄠€(gè)高難度基準(zhǔn)測(cè)試中，發(fā)現(xiàn)其性能顯著超越了10B 以下的密集模型，甚至可以與一些更大型的 MoE 模型相媲美，特別是在邏輯推理方面表現(xiàn)優(yōu)異。

此外，Ring-mini-2.0在設(shè)計(jì)上注重高效性，通過1/32的專家激活比和 MTP 層架構(gòu)優(yōu)化，實(shí)現(xiàn)了約7-8B 密集模型的等效性能。這種高稀疏度和小激活設(shè)計(jì)，使得其在 H20環(huán)境下可以實(shí)現(xiàn)300+ token/s 的推理速度，同時(shí)結(jié)合 Expert Dual Streaming 的優(yōu)化，進(jìn)一步降低了推理成本。

為了促進(jìn)學(xué)術(shù)與工業(yè)界的研究和應(yīng)用，Ring-mini-2.0的模型權(quán)重、訓(xùn)練策略和數(shù)據(jù)配方將全面開源。我們期待這款 “小而優(yōu)” 的模型能夠成為小型推理模型的首選，并歡迎大家訪問我們的開源倉庫進(jìn)行下載和使用。未來，在 Ling2.0架構(gòu)的支持下，我們將繼續(xù)推出更大、更快、更強(qiáng)的語言模型和全模態(tài)模型，敬請(qǐng)期待!