MACE-Dance、音楽駆動型のダンス動画生成フレームワークを発表
HuggingFace
2026年5月12日 (火)
- •MACE-Danceは、カスケード型のMixture-of-Expertsアーキテクチャを用いて音楽からダンス動画を生成する。
- •本フレームワークは、タスクを3D生成のためのMotion Expertと動画合成のためのAppearance Expertに分離している。
- •3Dダンス生成およびポーズ駆動型の画像アニメーションにおいて、最先端の性能を達成した。
研究チームは2026年5月11日、音楽からダンス動画を生成するフレームワーク「MACE-Dance」を発表した。このシステムは、カスケード型のMixture-of-Expertsアーキテクチャを採用し、動画の合成をモーション生成と外見の保持という2つのプロセスに分離することで、視覚的な品質と人間らしい動きの両立における従来の課題を解決した。
処理は2つの専門コンポーネントに分担される。Motion Expertは、BiMamba-TransformerハイブリッドモデルとGuidance-Free Training（GFT）戦略を組み合わせ、運動学的な整合性を確保しながら音楽から3Dモーションを生成する。Appearance Expertは動画合成を担当し、被写体の同一性と時空間的な一貫性を維持する。
同システムは、3Dダンス生成およびポーズ駆動型画像アニメーションにおいて最先端の性能を示した。研究チームはこれらの成果を検証するため、新たな大規模データセットを構築し、モーションと外見を評価するための独自のプロトコルを確立した。