2 月 10 日消息，豆包大模型團隊聯合北京交通大學、中國科學技術大學共同開發的視頻生成實驗模型“VideoWorld”今日開源。不同于 Sora 、DALL-E 、Midjourney 等主流多模態模型，VideoWorld 在業界首次實現無需依賴語言模型，即可認知世界。

據介紹，現有模型大多依賴語言或標簽數據學習知識，很少涉及純視覺信號的學習。然而，語言并不能捕捉真實世界中的所有知識。例如折紙、打領結等復雜任務，難以通過語言清晰表達。而 VideoWorld 去掉語言模型，實現了統一執行理解和推理任務。

同時，它基于一種潛在動態模型，可高效壓縮視頻幀間的變化信息，顯著提升知識學習效率和效果。在不依賴任何強化學習搜索或獎勵函數機制前提下，VideoWorld 達到了專業 5 段 9x9 圍棋水平，并能夠在多種環境中，執行機器人任務。