Matrix-Game 4.0、編集可能なゲーム世界を生成

研究者らは10月20日公開の論文で、編集して遊べるゲーム世界を作るシステム「Matrix-Game 4.0」を発表しました。ゲームの実行と映像生成を分離し、軽量エンジンが世界の状態を管理してルールを適用します。レンダラーはエンジンが生成したローポリの場面を、精細な映像に変換します。マルチモーダルなコーディングエージェントがプレイヤーのアイデアをゲームコードと変化する場面説明に変換するため、自然言語で場面やゲームプレイを作成・変更できます。

レンダラーはローポリ映像と高精細映像の組み合わせで学習させた後、因果型生成モデルに蒸留しました。このモデルは4フレーム単位の映像を、1回または2回のノイズ除去処理で生成します。NVIDIA RTX 5090 1台で、480pのゲーム映像を60 FPSで実行し、キー入力から画面表示までの遅延は112 msでした。1回の生成処理では、定常状態の処理速度が83 FPSに達し、GPUメモリーのピーク使用量は18.2 GiBでした。固定プロンプトでは、RTX 5080で67 FPS、RTX 5070 Tiで58 FPSに達しました。

研究者らは、ゲームエンジンが仕組みを適用するカスタマイズ可能なシューティングゲームとドライビングゲームを実演しました。研究や遊べるゲーム世界の制作を支援するため、コード、モデルの重み、ローポリのゲーム素材も公開しました。

研究者らは10月20日公開の論文で、編集して遊べるゲーム世界を作るシステム「Matrix-Game 4.0」を発表しました。ゲームの実行と映像生成を分離し、軽量エンジンが世界の状態を管理してルールを適用します。レンダラーはエンジンが生成したローポリの場面を、精細な映像に変換します。マルチモーダルなコーディングエージェントがプレイヤーのアイデアをゲームコードと変化する場面説明に変換するため、自然言語で場面やゲームプレイを作成・変更できます。

レンダラーはローポリ映像と高精細映像の組み合わせで学習させた後、因果型生成モデルに蒸留しました。このモデルは4フレーム単位の映像を、1回または2回のノイズ除去処理で生成します。NVIDIA RTX 5090 1台で、480pのゲーム映像を60 FPSで実行し、キー入力から画面表示までの遅延は112 msでした。1回の生成処理では、定常状態の処理速度が83 FPSに達し、GPUメモリーのピーク使用量は18.2 GiBでした。固定プロンプトでは、RTX 5080で67 FPS、RTX 5070 Tiで58 FPSに達しました。

研究者らは、ゲームエンジンが仕組みを適用するカスタマイズ可能なシューティングゲームとドライビングゲームを実演しました。研究や遊べるゲーム世界の制作を支援するため、コード、モデルの重み、ローポリのゲーム素材も公開しました。