今天（1日），階躍星辰正式發(fā)布最強(qiáng)開源端到端語音大模型 Step-Audio 2 mini，該模型在多個(gè)國際基準(zhǔn)測試集上取得 SOTA（State-of-The-Art，即當(dāng)前最佳水平）成績。在技術(shù)層面，Step-Audio 2 mini 采用了真正的端到端多模態(tài)架構(gòu)，并將語音理解、音頻推理與生成統(tǒng)一建模，不僅時(shí)延更低、輸出更快，還能更加精準(zhǔn)地理解副語言信息、非人聲信號等語音要素，顯著提升了語音人機(jī)交互的效率和智能上限。目前，Step-Audio 2 mini 已經(jīng)可在 GitHub、Hugging Face 等平臺(tái)下載并體驗(yàn)。

根據(jù)測評，這款模型在音頻理解、語音識(shí)別、跨語種翻譯、情感與副語言解析、等任務(wù)中表現(xiàn)突出，綜合性能超越 Qwen-Omni 、Kimi-Audio 在內(nèi)的所有開源端到端語音模型，并在大部分任務(wù)上超越 GPT-4o-audio。

隨著語音交互成為人機(jī)主要交互方式，智能終端設(shè)備對語音模型的智商及情商水平提出了更高要求。Step-Audio 2 mini 首創(chuàng)了音頻推理能力，能對情緒、語調(diào)、音樂等副語言和非語音信號進(jìn)行精細(xì)理解、推理并自然回應(yīng)，由此讓AI聽懂人類的“弦外之音”；同時(shí)，該模型率先支持語音原生的 Tool Calling 能力，可實(shí)現(xiàn)聯(lián)網(wǎng)搜索等操作，有效解決模型幻覺問題，并讓語音模型像文本模型一樣具有更強(qiáng)大的知識(shí)儲(chǔ)備和推理能力。

在此之前，吉利發(fā)布了搭載階躍星辰端到端語音大模型的吉利銀河 M9，這是行業(yè)內(nèi)端到端語音大模型首次實(shí)現(xiàn)量產(chǎn)上車。據(jù)階躍星辰相關(guān)人士介紹，自去年發(fā)布國內(nèi)首個(gè)千億參數(shù)端到端語音大模型 Step-1o Audio 以來，該公司持續(xù)迭代模型性能，并跟吉利、鯨魚機(jī)器人、TCL、Cyan 青心意創(chuàng)等頭部終端廠商達(dá)成深度合作，讓語音大模型在生活場景中為消費(fèi)者提供更加智能、便捷的互動(dòng)體驗(yàn)。

今年以來，階躍星辰已經(jīng)開源了 8 款性能領(lǐng)先的多模態(tài)模型，覆蓋語音、視頻生成、圖像編輯、3D、多模態(tài)推理等多個(gè)類別，為全球開源社區(qū)貢獻(xiàn)多模態(tài)力量。