1月9日，阿里云通義萬相迎來重磅升級(jí)，推出萬相2.1視頻生成模型，在大幅度復(fù)雜運(yùn)動(dòng)、物理規(guī)律遵循、藝術(shù)表現(xiàn)等方面全面提升。根據(jù)權(quán)威評(píng)測(cè)榜單VBench的信息顯示，新版通義萬相登上榜首位置，超越混元、海螺AI、Gen3、Pika等國內(nèi)外視頻生成模型。

VBench是視頻生成領(lǐng)域的權(quán)威評(píng)測(cè)集，它一共有16個(gè)評(píng)分維度，從整體一致性、動(dòng)作流暢度、畫面穩(wěn)定性等方面對(duì)模型進(jìn)行全方位評(píng)估。VBench榜單顯示，通義萬相在運(yùn)動(dòng)幅度、多對(duì)象生成、空間關(guān)系等關(guān)鍵能力上拿下最高分，并以總分84.7%的成績斬獲第一。

精準(zhǔn)理解和模擬物理世界是當(dāng)下視頻生成模型的核心難題，現(xiàn)有模型生成的視頻在大幅運(yùn)動(dòng)、物理復(fù)雜場(chǎng)景表現(xiàn)較差，容易生成肢體扭曲、違背物理定律的視頻。針對(duì)這一難題，通義萬相團(tuán)隊(duì)采用自研高效的VAE和DiT架構(gòu)，有效增強(qiáng)時(shí)空上下文關(guān)系建模能力。

在全新架構(gòu)下，通義萬相在大幅度的肢體運(yùn)動(dòng)和肢體旋轉(zhuǎn)場(chǎng)景的視頻生成上表現(xiàn)更穩(wěn)定，即便是花樣滑冰、游泳、跳水等運(yùn)動(dòng)視頻也能保持肢體協(xié)調(diào)并符合正常運(yùn)動(dòng)軌跡。

通義萬相在文字視頻生成上實(shí)現(xiàn)了突破，成為首個(gè)支持中文文字生成能力且同時(shí)支持中英文文字特效生成的視頻生成模型，可滿足廣告設(shè)計(jì)、短視頻等領(lǐng)域的創(chuàng)作需求。

例如，用戶輸入“平拍一位女性花樣滑冰運(yùn)動(dòng)員在冰場(chǎng)上進(jìn)行表演的全景。她穿著紫色的滑冰服，腳踩白色的滑冰鞋，正在進(jìn)行一個(gè)旋轉(zhuǎn)動(dòng)作。她的手臂張開，身體向后傾斜，展現(xiàn)了她的技巧和優(yōu)雅”，通義萬相即可精準(zhǔn)理解語義，并生成一段接近專業(yè)滑冰運(yùn)動(dòng)員的視頻。

▲生成視頻示例

據(jù)悉，目前該模型已全面開放，用戶可在通義萬相官網(wǎng)直接免費(fèi)使用，個(gè)人開發(fā)者和企業(yè)用戶還可在阿里云百煉調(diào)用通義萬相API，進(jìn)一步創(chuàng)造更豐富的AI工具和應(yīng)用。

責(zé)編:李文玉 | 審校:李金雨 | 審核:李震 | 監(jiān)審:萬軍偉