FilmFlow、3Dシーンのカメラ移動を計画
HuggingFace2026年10月24日 (土)
- •研究者が、文章や参照動画から3Dシーンのカメラ軌道を生成するFilmFlowを発表
- •Director、Interpreter、Scout、Criticの各エージェントが視点選択や描画結果の改善を担当
- •150のBlenderシーン、750の文章指示タスク、60本の参照動画を含むCinemaBenchで、FilmFlowが評価対象の比較手法を上回る
研究者は、自然言語の指示や参照動画を、動的な3Dシーンで実行できるカメラ軌道に変換するエージェント型フレームワーク「FilmFlow」を発表しました。仮想シーン内で制御・実行できるカメラ移動を目指し、映像表現の意図をカメラ計画に変換します。
Directorエージェントは、並行して行う基本操作を組み合わせてカメラ計画を作ります。各操作は移動、回転、フレーミングを連携して制御します。ほかに3つの専門エージェントが支援し、Interpreterはシーンに基づいて映像表現の意図を抽出し、Scoutは初期視点を選び、Criticは描画結果を評価して視覚的なフィードバックを返し、計画を反復的に改善します。
研究者は、独自制作およびライセンス取得済みの素材から作成した150のBlenderシーンを収録するデータセット「CinemaBench」も発表しました。各シーンにカメラ指示が5つあり、文章で指示するタスクは合計750件です。一部のシーンには60本の参照動画が対応しています。このベンチマークは、文章からのカメラ生成と参照動画を使ったカメラ生成の両方を評価します。
研究者によると、FilmFlowは多様な比較手法を評価した結果、ベンチマーク性能とユーザーの選好度で最も高い結果を得ました。研究者は、この結果が実行可能な3D映像制作における空間推論、時間的な協調、視覚的構成を示していると述べています。ベンチマーク比較の数値スコアは示されていません。