研究者、生成速度を調整できる世界モデルを発表
- •8人の研究者が、対話型世界モデルの生成速度を調整する枠組みRARを発表
- •Stride-RoPEで速度ごとの映像フレームを整列させ、未学習の速度への対応や生成中の速度変更を実現
- •学習予算をそろえた実験で、映像生成の一貫性と高速時の品質を保ち、物理的な時間範囲を拡大したと報告
8人の研究者が、対話型世界モデルの映像生成速度を調整できる枠組み「Rate-Adaptive Rollout(RAR)」を発表しました。論文は10月12日に公開され、10月15日にHugging Faceへ提出されました。著者らによると、既存システムの多くは学習時と生成時に単一の速度を使います。実行時の生成速度が学習した速度と異なると、生成される世界の変化が遅すぎたり速すぎたりする場合があります。固定速度では、速度を上げると細かな動きを捉えやすくなる一方、固定長のコンテキストウィンドウ(モデルが一度に扱える情報の範囲)内で描ける物理的な時間が短くなるという兼ね合いもあります。
RARはStride-RoPEを使い、異なる速度でサンプリングした潜在映像フレーム(圧縮された映像表現の各コマ)を、共通の物理時間軸に沿って整列させます。これにより、複数の速度で一貫した生成を行い、学習時に見ていない速度にも対応できるほか、生成中に過去の履歴を捨てずに速度を切り替えられます。また、複数のストライドで映像をサンプリングし、細かな動きと長時間にわたる変化を同時に学習します。
行動とカメラで操作する環境での実験について、著者らは、複数の速度で生成した場合や生成中に速度を切り替えた場合も時間的な一貫性を保ったと報告しました。学習予算をそろえた条件では、高速生成時の品質を維持し、物理的な時間範囲を延ばしたとしています。さらに、事前学習済みの世界モデルへ適用しても知覚品質を保てたと報告しています。Hugging Faceのページには、著者としてYaoyang Liu、Dongyu Yan、Yihua Du、Shengju Qian、Zeke Xie、Xin Wang、Ying-Cong Chen、Long Chenの名前が掲載されています。