Diffusion Models Are Real-Time Game Engines, Dani Valevski+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2408.14837

  Affiliations

  • Dani Valevski, N/A
  • Yaniv Leviathan, N/A
  • Moab Arar, N/A
  • Shlomi Fruchter, N/A

    Abstract

  • We present GameNGen, the first game engine powered entirely by a neural modelthat enables real-time interaction with a complex environment over longtrajectories at high quality. GameNGen can interactively simulate the classicgame DOOM at over 20 frames per second on a single TPU. Next frame predictionachieves a PSNR of 29.4, comparable to lossy JPEG compression. Human raters areonly slightly better than random chance at distinguishing short clips of thegame from clips of the simulation. GameNGen is trained in two phases: (1) anRL-agent learns to play the game and the training sessions are recorded, and(2) a diffusion model is trained to produce the next frame, conditioned on thesequence of past frames and actions. Conditioning augmentations enable stableauto-regressive generation over long trajectories.

    Translation (by gpt-3.5-turbo)

• GameNGenは、初めてニューラルモデルによって完全に動作するゲームエンジンであり、高品質で長い軌跡上で複雑な環境とのリアルタイムインタラクションを可能にします。GameNGenは、単一のTPU上で秒間20フレーム以上でクラシックゲームDOOMをインタラクティブにシミュレートすることができます。次フレーム予測では、PSNRが29.4に達し、劣化JPEG圧縮と比較可能です。人間の評価者は、ゲームの短いクリップとシミュレーションのクリップを区別するのに、ランダムなチャンスよりわずかに優れています。GameNGenは、2つの段階でトレーニングされます：（1）RLエージェントがゲームをプレイすることを学び、トレーニングセッションが記録され、（2）拡散モデルが過去のフレームとアクションのシーケンスに応じて次のフレームを生成するようにトレーニングされます。条件付きの拡張により、長い軌跡上で安定した自己回帰生成が可能となります。

  Summary (by gpt-3.5-turbo)

• GameNGenは、ニューラルモデルによって完全に動作するゲームエンジンであり、高品質で長い軌跡上で複雑な環境とのリアルタイムインタラクションを可能にします。GameNGenは、単一のTPU上で秒間20フレーム以上でクラシックゲームDOOMをインタラクティブにシミュレートすることができます。次フレーム予測では、PSNRが29.4に達し、劣化JPEG圧縮と比較可能です。GameNGenは、2つの段階でトレーニングされます：（1）RLエージェントがゲームをプレイすることを学び、トレーニングセッションが記録され、（2）拡散モデルが過去のフレームとアクションのシーケンスに応じて次のフレームを生成するようにトレーニングされます。条件付きの拡張により、長い軌跡上で安定した自己回帰生成が可能となります。

[AkihikoWatanabe]

Diffusion Modelでゲーム映像を生成する取り組みらしい。ゲームのenvironmentに対して、ユーザのActionとframeの系列をエピソードとみなして生成するっぽい？

[AkihikoWatanabe]

project pageにデモがのっている https://gamengen.github.io/