世界模型全家桶發布

根據官方介紹，GWM-1是基于Gen-4.5構建的，這是Runway最新的視頻生成模型。

但和Gen-4.5有所不同的是，GWM-1采用的是自回歸架構，它可以根據之前的記憶內容，進行逐幀預測生成。

另外模型支持實時交互控制，包括調整相機姿態、修改機器人操作指令或音頻。

它目前包含三個變體：

1、GWM Worlds：用于實時環境的模擬與探索。

GWM Worlds能夠讓用戶在連貫、有反應的世界中自由移動，而無需手動設計每個空間。

具體來說，用戶首先需要為模型提供一個可供參考的靜態場景，然后它就會在用戶移動過程中，實時生成一個沉浸式、無限且可探索的空間，其中包含幾何圖形、光照和物理效果。

相比于其它世界模型，普遍只能生成有限長度的幀序列，GWM Worlds不僅能夠在智能體移動的同時實時生成新場景，還能保持這些場景元素在長序列移動過程中的空間一致性。

允許用戶通過文本提示改變環境的物理規則，例如當提示詞要求智能體騎自行車，場景就會被約束在地面上；反之如果提示飛行，模型就會解除重力約束，實現空中自由導航。

這將有助于訓練智能體在真實物理世界的行動，GWM Worlds可以快速搭建出一個能讓智能體自由探索、犯錯和學習的環境。

此外GWM Worlds也可以通過實時生成虛擬環境，為VR沉浸式體驗提供支持。

2、GWM Avatars：能夠模擬人類對話。

這是一個由音頻驅動的交互式視頻生成模型，可以模擬自然的人類表情和動作，無論是寫實還是風格化角色。

能夠渲染出逼真的面部表情、眼部動作、口型與語音同步，以及自然的手勢，在長時間交互中也能保持穩定質量。

它可以作為生活中的個性化導師，用仿真的互動方式解釋復雜概念；也能改變客戶服務方式，生成一個永遠耐心、隨時在線、具有人類表情的數字人，幫助解決用戶實際需求。

在面試、談判等高壓場景中，GWM Avatars模擬真實對話，讓人們得以在安全環境中練習沖突溝通或演講示范；而在游戲和互動娛樂領域，也能讓NPC變得栩栩如生——做到能傾聽、能思考、能對話。

而GWM Avatars即將正式上線，并提供API，供使用者自行集成到自己的產品或服務中。

3、GWM Robotics：用于機器人操作。

GWM Robotics本質上更偏向于學習型模擬器，并非基于固定規則編程，而是通過學習機器人相關數據形成模擬能力。

換言之，它是一個在機器人數據上訓練的世界模型，會根據機器人動作預測視頻序列，主要承擔兩大任務：

用于策略訓練的合成數據增強：

通過GWM Robotics生成合成訓練數據，然后從新物體、任務指令和環境變化多個維度擴充現有的機器人數據集。

這些合成數據無需進行昂貴的真實世界數據收集，就能提升已訓練策略的泛化能力和魯棒性。

模擬中的策略評估：

在GWM Robotics里，可直接測試策略模型可行性（如OpenVLA、OpenPi等VLA模型），而無需部署到實體機器人上。

這種方法將比真實世界測試更快、重復性更高，且安全性顯著提升，同時還能提供貼合實際的行為評估。

總的來說，GWM Robotics可以有效解決物理硬件的瓶頸問題（成本高、損耗快、場景難復現等），通過模擬環境替代實體硬件場景，可以讓訓練和評估更高效、更具性價比。

同時還發布了GWM Robotics的Python軟件開發工具包（SDK），該SDK支持多視角視頻生成和長上下文序列，旨在無縫集成到現代機器人策略模型中。

OMT

除了世界模型，Runway這次還對Gen-4.5進行了升級更新，新增支持原生音頻生成和原生音頻編輯。

比如Gen-4.5現在可以生成逼真的對話、音效和背景音頻，把原先的創作內容擴充到更廣的故事類型。

在現有音頻的編輯上，用戶可以根據自己的特定需求以任何方式進行調整。

不僅能用音頻生成新視頻，還引入了多鏡頭編輯功能，可以在初始場景中進行任意長度的修改，并實現整段視頻的一致變換。