10 月 21 日消息，智源研究院今日發布原生多模態世界模型 Emu3。該模型只基于下一個 token 預測，無需擴散模型或組合方法，即可完成文本、圖像、視頻三種模態數據的理解和生成。官方宣稱實現圖像、文本、視頻大一統。

在圖像生成任務中，基于人類偏好評測，Emu3 優于 SD-1.5 與 SDXL 模型。在視覺語言理解任務中，對于 12 項基準測試的平均得分，Emu3 優于 LlaVA-1.6。在視頻生成任務中，對于 VBench 基準測試得分，Emu3 優于 OpenSora 1.2。

據介紹，Emu3 提供了一個強大的視覺 tokenizer，能夠將視頻和圖像轉換為離散 token。這些視覺離散 token 可以與文本 tokenizer 輸出的離散 token 一起送入模型中。與此同時，該模型輸出的離散 token 可以被轉換為文本、圖像和視頻，為 Any-to-Any 的任務提供了更加統一的研究范式。

▲ Emu3 生成的圖像

Emu3 研究結果證明，下一個 token 預測可以作為多模態模型的一個強大范式，實現超越語言本身的大規模多模態學習，并在多模態任務中實現先進的性能。通過將復雜的多模態設計收斂到 token 本身，能在大規模訓練和推理中釋放巨大的潛力。

目前 Emu3 已開源了關鍵技術和模型，附鏈接如下：

代碼：https://github.com/baaivision/Emu3 項目頁面：https://emu.baai.ac.cn/ 模型：https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f