UniVidX：マルチモーダル動画生成を統合する新フレームワーク
- •UniVidXは、複数の動画生成タスクを単一のマルチモーダルフレームワークに統合することで多様な生成を実現する。
- •確率的コンディション・マスキングとデカップル・ゲーテッドLoRAを採用し、柔軟な生成プロセスを構築している。
- •RGB動画からインリンジックマップ、RGBAレイヤーまで、多様なドメインで高い性能を実証した。
動画生成技術の潮流は、特定のタスク専用のモデルを乱立させる時代から、一つのシステムで多様な要望に応える柔軟なフレームワークへと移行している。研究チームが発表したUniVidXは、断片化された動画生成タスクを一つの統合システムに集約することを目指した技術だ。動画拡散モデル（Video Diffusion Models）を基盤とすることで、目的ごとに個別のモデルを訓練し直す必要がない汎用性を実現している。
従来の統合モデルにおける最大の課題は、入力と出力の関係が固定されているため、異なるデータ形式の相関を学習しきれない点にあった。UniVidXは、ピクセル単位のタスクを共有空間内での「条件付き生成」として再定義することでこの壁を乗り越えた。これにより、標準的なRGB動画だけでなく、照明情報を扱うインリンジックマップや個別のRGBAレイヤーといった異なるデータ形式も、生成を導く条件としてシステムに取り込めるようになった。
このフレームワークを支えるのは、主に3つのアーキテクチャ上の革新である。第一に、確率的コンディション・マスキング（Stochastic Condition Masking）が学習中のモダリティを動的に分割し、固定的なマッピングに頼らない全方位的な生成を可能にした。第二に、デカップル・ゲーテッドLoRA（Decoupled Gated LoRA）が特定のモダリティを対象とする際のみ軽量な調整を行い、モデルの基盤となる動画拡散モデルの核となる性能を維持する。
第三の革新であるクロスモーダル・セルフアテンション（Cross-Modal Self-Attention）は、異なるモダリティ間で重要な情報を交換しつつ、それぞれの特性を保持する役割を果たす。これらの手法の組み合わせにより、わずか1,000本未満の動画データセットでも堅牢な成果を上げることが可能だ。
UniVidXは、インリンジックマップの生成やレイヤー別の合成といった異なる領域においても、最先端の性能を一つのモデルで達成できることを証明した。これは、膨大で無駄の多い再学習パイプラインを必要とせず、多様な要件に即座に適応できる効率的な汎用動画生成システムへの大きな前進である。