階躍星辰團(tuán)隊(duì)宣布其最新一代基礎(chǔ)大模型 Step3正式開源。Step3是一款專為追求性能與成本極致均衡的企業(yè)和開發(fā)者設(shè)計(jì)的模型，旨在面向推理時(shí)代打造最適合應(yīng)用的模型。該模型的開源地址包括 Github、Hugging Face 和魔搭 ModelScope，開發(fā)者可以自由下載體驗(yàn)。

Step3采用 MoE 架構(gòu)，總參數(shù)量達(dá)到3210億，激活參數(shù)量為380億。它不僅擁有強(qiáng)大的視覺感知和復(fù)雜推理能力，還能準(zhǔn)確完成跨領(lǐng)域的復(fù)雜知識理解、數(shù)學(xué)與視覺信息的交叉分析，以及日常生活中的各類視覺分析問題。通過 MFA（Multi-matrix Factorization Attention）和 AFD(Attention-FFN Disaggregation)的優(yōu)化，Step3在各類芯片上的推理效率均大幅提升。此外，面向 AFD 場景的 StepMesh 通信庫也已隨模型一同開源，提供可跨硬件的標(biāo)準(zhǔn)部署接口，支持關(guān)鍵性能在實(shí)際服務(wù)中的穩(wěn)定復(fù)現(xiàn)。

Step3的核心結(jié)構(gòu)采用自研 MFA 注意力機(jī)制，有效降低注意力計(jì)算中的 KV 緩存開銷與算力消耗。在不犧牲模型能力的前提下，這一方案實(shí)現(xiàn)了資源利用與推理效率的平衡，使得模型可在8×48GB 顯卡上完成大吞吐量推理，具備真實(shí)部署的可行性。多模態(tài)能力方面，Step3采用5B Vision Encoder，并通過雙層2D 卷積對視覺特征進(jìn)行降采樣，將視覺 token 數(shù)量減少到原來的1/16，減輕上下文長度壓力，提升推理效率。訓(xùn)練過程分為兩個(gè)階段:第一階段強(qiáng)化 Encoder 感知，第二階段凍結(jié)視覺編碼器，僅優(yōu)化主干與連接層，以減少梯度干擾。訓(xùn)練語料涵蓋 Pair、Interleave 與多任務(wù)數(shù)據(jù)，在清洗環(huán)節(jié)中引入相似度過濾、重采樣與任務(wù)比例控制，進(jìn)一步提升圖文協(xié)同質(zhì)量與訓(xùn)練魯棒性。

Step3在系統(tǒng)架構(gòu)層重構(gòu)了解碼流程，重點(diǎn)解決 Attention 與 FFN 混合執(zhí)行帶來的推理瓶頸以及資源不匹配問題。為此，團(tuán)隊(duì)實(shí)現(xiàn)了高性能的 AFD 方案，將兩類計(jì)算任務(wù)解耦成為兩個(gè)子系統(tǒng)，并通過多級流水線并行調(diào)度，有效提升整體吞吐效率。由于解耦后的子系統(tǒng)之間對數(shù)據(jù)傳輸有極高要求，團(tuán)隊(duì)同時(shí)研發(fā)了面向 AFD 場景的 StepMesh 通信庫，基于 GPU Direct RDMA 實(shí)現(xiàn)跨卡的低延遲和高帶寬傳輸，同時(shí)兼?zhèn)洳徽加?GPU 計(jì)算資源、適配多類異構(gòu)硬件等優(yōu)勢。在50ms 解碼的 SLA 前提下，Step3在 Hopper GPU 上的吞吐達(dá)到4039token/gpu/s，顯著高于類似設(shè)置下的 DeepSeek V3（2324token/gpu/s），且該性能增益在特定硬件與長文場景會進(jìn)一步放大至300%。

Step3在 MMMU、MathVision、SimpleVQA、AIME2025、GPQA-Diamond、LiveCodeBench （2024.08-2025.05）等評測集上進(jìn)行了測試，在同類型開源模型中，Step3成績行業(yè)領(lǐng)先。例如，在“安排商務(wù)宴座”的任務(wù)中，Step3能夠識別圖中結(jié)構(gòu)，自動(dòng)解析禮儀規(guī)則、角色關(guān)系與空間邏輯，再結(jié)合中文社交禮儀推理出完整12人角色分布邏輯，最終輸出了角色明確、位置清晰、結(jié)構(gòu)合理的“主賓-主陪”全局排座方案，并用表格+ASCII 圖直觀展示。在卡路里計(jì)算任務(wù)中，Step3能夠看懂復(fù)雜的小票，把菜品歸類、對上熱量，最終估算出2人一頓飯總共吃了5710大卡，人均2855大卡，整個(gè)過程從原始數(shù)據(jù)到結(jié)論解釋，邏輯清晰，一整個(gè)閉環(huán)。

Step3API 已上線階躍星辰開放平臺（platform.stepfun.com），開發(fā)者也可以在“階躍 AI”官網(wǎng)(stepfun.com)和“階躍 AI”App(應(yīng)用商店搜索下載)進(jìn)行體驗(yàn)。模型限時(shí)折扣中，所有請求均按最低價(jià)格計(jì)算，每百萬 token 價(jià)格低至輸入1.5元，輸出4元。

Github:https://github.com/stepfun-ai/Step3

Hugging Face:https://huggingface.co/stepfun-ai/step3

魔搭ModelScope:

https://www.modelscope.cn/models/stepfun-ai/step3

https://www.modelscope.cn/models/stepfun-ai/step3-fp8