大角度カメラ移動に対応するキャラクター動画生成「WorldCast」
HuggingFace2026年10月27日 (火)
- •研究チームが、大角度のカメラ移動を制御するキャラクター動画生成手法「WorldCast」を発表
- •多様なカメラ経路と複数視点の観察データを収録したデータセット兼ベンチマーク「CLACT」を構築
- •評価では、キャラクターの形状や外観、同一性を保ちながらカメラ経路を追従したと報告
研究チームは、大角度のカメラ移動を伴うキャラクター動画生成に対応するため、「CLACT」と生成フレームワーク「WorldCast」を発表しました。論文は10月23日に公開され、10月27日にHugging Faceへ提出されました。研究対象のカメラ経路は、任意の開始角度から回転、平行移動、距離の変化を組み合わせます。著者らによると、既存手法ではこうした動きへの対応が難しく、最初のフレームに隠れていたキャラクターの部分が見えることで、形状の歪みや外観の劣化、同一性のぶれが起きる場合があります。
CLACTは、さまざまな大角度カメラ経路を収録した、キャラクターに特化したデータセット兼ベンチマークです。学習と評価に使うカメラの幾何情報と、複数視点から見たキャラクターの観察データを含みます。WorldCastは、最初のフレームから奥行きを推定し、そのフレームを3次元点群に変換します。点群の縮尺を目標のカメラ経路に合わせ、経路に沿って描画することで、形状の手掛かりと画面内の被覆マスクを生成します。
最初の視点では見えないキャラクターの細部を補うため、WorldCastはGeometry-Aligned Memory Attention（幾何整合メモリアテンション、GAMA）を導入しました。この手法は、最初のフレームから推定した相対的なカメラ姿勢と、複数視点のキャラクター基準点を使い、基準点と目標視点の形状を共通の座標系に配置します。動画生成時には、この位置合わせを利用して、各視点に関係するキャラクターの特徴を取得し、生成映像に反映します。著者らは、さまざまな大角度カメラ経路での評価において、キャラクターの形状、外観、同一性を保ちながら、カメラ経路に正確に追従したと報告しました。