沒想到連傳統(tǒng)游戲引擎也要被優(yōu)化掉了。

近日，谷歌研究人員宣布在 AI 領域取得了一個重要的里程碑，只需依靠神經(jīng)網(wǎng)絡就可以為經(jīng)典射擊游戲《毀滅戰(zhàn)士》生成實時游戲玩法，全程無需使用傳統(tǒng)的游戲引擎。

谷歌

根據(jù)研究人員的說法，這個名為 GameNGen 的系統(tǒng)是世界上第一個完全由神經(jīng)網(wǎng)絡驅動的 AI 游戲引擎，可以在單芯片上以每秒 20 幀的速度生成可玩的游戲玩法，每一幀都由擴散模型預測。

實時生成游戲已成現(xiàn)實！

GameNGen 能在單張 TPU 上以超過 20 幀/秒的速度實時模擬游戲

2024 年 8 月 27 日，谷歌發(fā)布了一篇由谷歌研究院研究員 Dani Valevski、谷歌研究院工程師 Yaniv Leviathan、特拉維夫大學 Moab Arar、谷歌 DeepMind 工程師 Shlomi Fruchter 聯(lián)合發(fā)表的論文，詳細介紹了新模型 GameNGen 的功能。

在這篇名為“Diffusion models are real-time game engines（擴散模型是實時游戲引擎）”的研究論文中，研究人員解釋了 GameNGen 的工作原理，系統(tǒng)使用了 2022 年發(fā)布的圖像合成擴散模型 Stable Diffusion 1.4 的修改版本，用來生成 AI 圖像。

GameNGen 架構圖（圖源：谷歌）

GameNGen 的開發(fā)涉及兩個階段的訓練過程。

首先，研究人員在數(shù)據(jù)收集與預處理階段訓練了一個強化學習（RL）代理與游戲環(huán)境交互，記錄代理的行動和觀察結果，形成訓練數(shù)據(jù)集，即先在《毀滅戰(zhàn)士》 游戲中記錄游戲過程并創(chuàng)建自動生成的訓練數(shù)據(jù)集。

接著，研究人員再使用生成的數(shù)據(jù)集訓練后續(xù)的擴散模型。

通過使用預訓練的 Stable Diffusion v1.4 模型作為基礎，去掉文本條件后將代理的行動嵌入到單個標記中，并將觀察結果編碼到潛在空間中，并通過噪聲增強技術緩解自回歸生成過程中的漂移問題，確保長時間序列生成的穩(wěn)定性。

圖源：谷歌

據(jù)介紹，GameNGen 能夠在單張 TPU 上以超過 20 幀/秒的速度實時模擬游戲，生成的視頻質(zhì)量與原始游戲相當。而在接受《毀滅戰(zhàn)士》大量動作鏡頭訓練后，GameNGen 能夠根據(jù)過去的幀和行動序列預測下一幀，實現(xiàn)實時交互。

經(jīng)過實驗，研究人員確認，在長軌跡上，模型模擬質(zhì)量達到了與原始游戲相當?shù)膱D像質(zhì)量，對于短軌跡，人類評分者只能略微區(qū)分模擬和實際游戲的片段。

圖源：谷歌

而在人類評估中，研究人員提供 130 個隨機短片段給人類評分者，每個片段的長度分別為 1.6 秒和 3.2 秒，包括 GameNGen 生成的模擬視頻和實際游戲視頻，人類評分者的任務需要識別每個片段是來自實際游戲還是模擬視頻。

最終結果表明，在識別準確率上，對于 1.6 秒的片段，評分者選擇實際游戲的準確率為 58%；對于 3.2 秒的片段，評分者選擇實際游戲的準確率為 60%。

評分者在區(qū)分模擬視頻和實際游戲視頻時，表現(xiàn)僅略優(yōu)于隨機猜測（50%），表明生成的模擬視頻與實際游戲視頻非常相似，這驗證了 GameNGen 生成的模擬視頻在視覺質(zhì)量和游戲行為上具有高保真度。

然而，GameNGen 也并非完美無瑕，研究人員發(fā)現(xiàn)，使用穩(wěn)定擴散會引入一些圖形故障，穩(wěn)定擴散 v1.4 的預訓練自動編碼器會將 8×8 像素塊壓縮為 4 個潛在通道，這會使得模型在預測游戲幀時出現(xiàn)細節(jié)錯誤。

此外，如果確保游戲視頻質(zhì)量在時間的推移中保持一致也非常困難。

“交互式世界模擬不僅僅是非?？焖俚囊曨l生成，對整個生成過程中可用的輸入動作流進行約束打破了現(xiàn)有擴散模型架構的一些假設，自回歸可能會導致不穩(wěn)定情況出現(xiàn)，讓生成世界的質(zhì)量迅速下降。”

這意味著持續(xù)的自回歸圖像合成可能會出現(xiàn)視覺故障，生成幀中的小錯誤會隨著時間的推移而累積、復合，導致虛擬世界隨著生成幀的增加而出現(xiàn)更多故障。

為了解決這個問題，研究人員有意在訓練數(shù)據(jù)中添加了不同級別的隨機噪聲，并教會模型糾正這種噪聲，這有助于模型在較長時間內(nèi)保持生成世界的質(zhì)量。

在沒有噪聲增強的情況下，模型的質(zhì)量迅速退化（圖源：谷歌）

值得注意的是，雖然 GameNGen 證明了 AI 游戲引擎可以被用于游戲生成領域，但該方法還存在著一個根本性的問題。

其他基于 Transformer 的模型一樣，GameNGen 更擅長模仿并創(chuàng)建合理的輸出，這意味著模型目前只能“復制”已經(jīng)存在的游戲，而無法在游戲行業(yè)產(chǎn)生真正的創(chuàng)新。

此外，由于模型只能訪問約 3 秒的歷史信息，這對游戲邏輯的持久性提出了挑戰(zhàn)。

盡管模型能夠通過屏幕像素（如彈藥和生命值計數(shù)、可用武器等）維持大部分游戲狀態(tài)，但仍需找到更為根本的解決方法。

同時，如果該技術在未來被廣泛采用來渲染視頻游戲圖形，那么對于實時運行類似模型的計算能力會提出更高要求。

不過好在，研究人員也表示將在其他游戲或更廣泛的交互軟件系統(tǒng)上測試 GameNGen，并探索更復雜的架構以緩解當前的諸多限制，進一步優(yōu)化技術以提高幀率和在消費級硬件上的運行。

隨著 AI 模型的不斷進步，我們將看到越來越復雜的神經(jīng)游戲引擎實時生成大型、一致的交互式世界，并從根本上改變視頻游戲的制作方式。

全球已有 62%的游戲工作室在開發(fā)過程中使用 AI 技術

可以看到，GameNGen 展示了 AI 可以作為游戲引擎的基礎，通過神經(jīng)模型自動生成游戲內(nèi)容，降低了開發(fā)成本，這種新范式可能會顯著降低游戲開發(fā)的難度，使得更多人能夠參與到游戲創(chuàng)作中。

研究人員在論文中聲稱，“如今，視頻游戲是由人類編程的?！?/p>

通過新的 AI 技術，未來的視頻游戲可能不用再使用傳統(tǒng)技術繪制圖形視頻幀，而是通過文本描述或示例圖像創(chuàng)建，人們可以直接將一組靜止圖像轉換為新的可玩游戲或角色，并不用依賴過去的編碼技巧。

而實際上，使用神經(jīng)渲染進行實時視頻游戲合成并不是一個全新的想法。Nvidia 首席執(zhí)行官黃仁勛在 3 月份的一次活動中預測大多數(shù)視頻游戲圖形可以在 5-10 年內(nèi)由人工智能實時生成。

在黃仁勛看來，AI 生成游戲并非遙不可及。

當時他的原話是：“即使 AI 無法僅通過簡單提示就從 0 開始創(chuàng)作出像《賽博朋克 2077》這樣的游戲，但這項技術在生成模型、視頻等方面將發(fā)揮重要作用?！闭l能想到才過去幾個月，AI 游戲引擎從 0 到 1 制作游戲就已成為現(xiàn)實。

圖源：網(wǎng)絡

現(xiàn)如今的 GameNGen 也是建立在生成式 AI 領域此前打下的工作基礎之上，包括由 David Ha 和 Jürgen Schmidhuber 在 2018 年首次提出的 World Models 模型 、由英偉達和麻省理工學院等于 2020 年共同提出的 GameGAN 模型以及今年 3 月份的谷歌 Genie 。

其中，GameGAN 能夠生成新的游戲關卡布局，甚至產(chǎn)生新的游戲創(chuàng)意，加速游戲開發(fā)過程。

GameGAN 模型通過觀看游戲視頻和鍵盤操作學習游戲的關鍵規(guī)則，在訓練過程中，GameGAN 可以學習如何渲染《吃豆人》游戲中的迷宮形狀、小點和 Power Pellets 等靜態(tài)元素，以及移動元素如敵人的幽靈和 PAC-MAN 本身。

此外，與“世界模擬器”相關的研究也通常是諸如 Gen-3 Alpha、Sora 等視頻生成 AI 模型的研究方向。在 Sora 首次亮相期間，OpenAI 就展示了模擬 Minecraft 的 AI 生成器的演示視頻。

圖源：OpenAI

這在當時也引發(fā)了對“AI 是否會取代游戲開發(fā)”的討論。

根據(jù) Unity 在今年 3 月份公布的一份報告顯示，越來越多的開發(fā)工作室正在采用 AI 工具來節(jié)省時間和效率，全球已有 62%的游戲工作室在游戲開發(fā)過程中的某個階段使用了 AI 技術。

其中，游戲工作室對于 AI 的首要用途是改進角色動畫，其次是加快編寫代碼速度，然后才是是美術資產(chǎn)和關卡生成、文案寫作以及自動化游戲測試。

AI 在游戲開發(fā)環(huán)節(jié)中的使用程度（圖源：Unity）

AI 技術的普及為游戲行業(yè)帶來了首先是明顯的裁員現(xiàn)象，根據(jù) GDC 的數(shù)據(jù)，有 35%的游戲開發(fā)者在 2023 年中受到了裁員的影響。但也有業(yè)內(nèi)人士表示，AI 的普及必然帶來部份傳統(tǒng)從業(yè)者的失業(yè)，只不過要說 AI 取代游戲開發(fā)還為時尚早。

國外電子游戲外包服務提供商 keywords 曾經(jīng)試圖僅靠生成式 AI 工具制作 2D 游戲，并使用了 400 多種不同的工具嘗試觀察 AI 如何完成目標。

但最終，keywords 發(fā)現(xiàn) AI 最終還是無法取代人類，“雖然 GenAI 可以簡化或加速某些流程，但只有通過該領域專家在創(chuàng)作過程中將 GenAI 作為一種新的輔助工具，才能獲得所需的最佳結果和質(zhì)量?！?/p>

因此，在目前游戲開發(fā)從業(yè)者還不用擔心被 AI 完全取代，至少在 GameNGen 成為完整體之前，我們還有很多討論“AI 介入藝術創(chuàng)作是否存在價值”的時間。

合作請聯(lián)系

商務合作對接：

西柚:（微信LibSept5_）

文靜:（微信mutou_kiki）

歡迎加入陀螺侃侃群：

暢聊行業(yè)發(fā)展/公司動態(tài)/游戲干貨/職場人生。

微信：boq270756（備注公司/職務）