5 月 13 日消息，昆侖萬(wàn)維剛剛宣布 Matrix-Game 大模型（17B+）正式開(kāi)源，即 Matrix-Zero 世界模型中的可交互視頻生成大模型。

昆侖萬(wàn)維表示，Matrix-Game 是 Matrix 系列在交互式世界生成方向的正式落地，也是工業(yè)界首個(gè)開(kāi)源的 10B+ 空間智能大模型，它是一個(gè)面向游戲世界建模的交互式世界基礎(chǔ)模型，專為開(kāi)放式環(huán)境中的高質(zhì)量生成與精確控制而設(shè)計(jì)。

據(jù)介紹，Matrix-Game 包括三大核心：

Matrix-Game-MC 數(shù)據(jù)集：自主構(gòu)建的大規(guī)模交互世界數(shù)據(jù)集，包含兩類數(shù)據(jù)：一是大規(guī)模無(wú)標(biāo)簽的 Minecraft 游戲視頻，二是帶有鍵盤(pán)與鼠標(biāo)控制信號(hào)的 Minecraft 與 Unreal 可控視頻數(shù)據(jù)，具備精細(xì)的動(dòng)作注釋。該數(shù)據(jù)集支持對(duì)復(fù)雜環(huán)境動(dòng)態(tài)與交互模式的高效建模與學(xué)習(xí)。 Matrix-Game 主模型：基于先進(jìn)擴(kuò)散模型技術(shù)開(kāi)發(fā)的圖像到世界生成框架，能夠根據(jù)用戶輸入（鍵盤(pán)指令、鼠標(biāo)移動(dòng)等）生成連貫、可控的互動(dòng)視頻，兼顧視覺(jué)質(zhì)量、時(shí)序一致性與物理合理性。 GameWorld Score 評(píng)測(cè)體系：提出統(tǒng)一的游戲交互世界評(píng)估標(biāo)準(zhǔn)，從視頻的視覺(jué)質(zhì)量、時(shí)序質(zhì)量、動(dòng)作可控性與物理規(guī)則理解四個(gè)維度，全面量化模型性能，填補(bǔ)了該領(lǐng)域缺乏系統(tǒng)性評(píng)測(cè)基準(zhǔn)的空白。

Matrix-Game 能夠在不同 Minecraft 場(chǎng)景下（如森林、沙灘、沙漠、冰川、河流、平原等）實(shí)現(xiàn)可控生成，包括基礎(chǔ)運(yùn)動(dòng)、復(fù)合運(yùn)動(dòng)、視角運(yùn)動(dòng)等。例如，在一個(gè)沙漠場(chǎng)景中，Matrix-Game 能夠根據(jù)用戶輸入的任意控制指令（注：如鍵盤(pán)的 W / A / S / D 方向鍵、Space 鍵用于跳躍、Attack 鍵用于攻擊，以及鼠標(biāo)用于視角移動(dòng)），生成對(duì)應(yīng)的游戲世界視頻，支持角色的前后左右移動(dòng)、跳躍、攻擊以及視角變換等動(dòng)態(tài)行為。

在此基礎(chǔ)上，Matrix-Game 支持自回歸式的長(zhǎng)視頻生成，不僅能實(shí)現(xiàn)動(dòng)作與視角之間的絲滑銜接，還在時(shí)間一致性與環(huán)境適應(yīng)性方面表現(xiàn)出色，為開(kāi)發(fā)沉浸式長(zhǎng)時(shí)體驗(yàn)、創(chuàng)意內(nèi)容生成及游戲設(shè)計(jì)等應(yīng)用奠定了堅(jiān)實(shí)的模型基礎(chǔ)。

參考資料

項(xiàng)目主頁(yè)：https://matrix-game-homepage.github.io 技術(shù)報(bào)告：https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdf GitHub 開(kāi)源地址：https://github.com/SkyworkAI/Matrix-Game HuggingFace 開(kāi)源地址：https://huggingface.co/Skywork/Matrix-Game