今天,我們正式推出了 Ring-mini-2.0,這是一款基于 Ling-mini-2.0架構(gòu)深度優(yōu)化的高性能推理型 MoE 模型。Ring-mini-2.0的總參數(shù)量達(dá)到16B,但在實(shí)際運(yùn)行中僅需激活1.4B 參數(shù),便能實(shí)現(xiàn)相當(dāng)于10B 級(jí)別以下的密集模型的推理能力。
這款模型在邏輯推理、編程和數(shù)學(xué)任務(wù)中表現(xiàn)尤為出色,支持128K 的長上下文,使得其在各種應(yīng)用場(chǎng)景中都能展現(xiàn)出強(qiáng)大的能力。此外,Ring-mini-2.0的生成速度也相當(dāng)驚人,能夠?qū)崿F(xiàn)300+ token/s 的快速生成,經(jīng)過優(yōu)化后更是可以突破500+ token/s。
圖源備注:圖片由AI生成,圖片授權(quán)服務(wù)商Midjourney
在推理能力的提升方面,Ring-mini-2.0在 Ling-mini-2.0-base 的基礎(chǔ)上進(jìn)行了更深層次的訓(xùn)練,通過 Long-COT SFT、大規(guī)模 RLVR 和 RLHF 的聯(lián)合優(yōu)化,顯著增強(qiáng)了模型在復(fù)雜推理任務(wù)中的穩(wěn)定性和泛化能力。我們?cè)诙鄠€(gè)高難度基準(zhǔn)測(cè)試中,發(fā)現(xiàn)其性能顯著超越了10B 以下的密集模型,甚至可以與一些更大型的 MoE 模型相媲美,特別是在邏輯推理方面表現(xiàn)優(yōu)異。
此外,Ring-mini-2.0在設(shè)計(jì)上注重高效性,通過1/32的專家激活比和 MTP 層架構(gòu)優(yōu)化,實(shí)現(xiàn)了約7-8B 密集模型的等效性能。這種高稀疏度和小激活設(shè)計(jì),使得其在 H20環(huán)境下可以實(shí)現(xiàn)300+ token/s 的推理速度,同時(shí)結(jié)合 Expert Dual Streaming 的優(yōu)化,進(jìn)一步降低了推理成本。
為了促進(jìn)學(xué)術(shù)與工業(yè)界的研究和應(yīng)用,Ring-mini-2.0的模型權(quán)重、訓(xùn)練策略和數(shù)據(jù)配方將全面開源。我們期待這款 “小而優(yōu)” 的模型能夠成為小型推理模型的首選,并歡迎大家訪問我們的開源倉庫進(jìn)行下載和使用。未來,在 Ling2.0架構(gòu)的支持下,我們將繼續(xù)推出更大、更快、更強(qiáng)的語言模型和全模態(tài)模型,敬請(qǐng)期待!





京公網(wǎng)安備 11011402013531號(hào)