APEX、180秒の少ステップ動画生成に対応

清華大学の研究者は、少ないステップでストリーミング動画を生成する手法APEXを論文で発表しました。論文は11月10日に公開され、11月11日にarXivへ投稿されました。APEXは生成可能な動画の長さを180秒に延ばし、分布マッチング蒸留の独立した偽スコアネットワークを条件シフトに置き換えます。条件シフトは、生成器の内部で生成分布の速度場を推定する仕組みです。同じネットワークが元のテキスト条件で生成を導き、ずらした条件で偽スコアを推定します。独立した偽ネットワークをなくしつつ、S2-Avatarの凍結された参照教師、Self-Replay Forcing、知覚正則化を維持します。

研究者は、各ブロックでバックボーンを3回評価し、1ステップの空間リファイナーを使ってAPEXを評価しました。比較対象のS2-Avatarとは、70件の人間評価と320件のStreamAV-Bench比較で検証しました。Progressiveトラックの動画指示達成度はAPEXが3.856、S2-Avatarが3.831でした。両トラックの視覚美評価はそれぞれ0.641898と0.632606でした。人間評価では、指示追従でAPEXへの純選好が30.0%高く、一貫性と動画品質でも各4.3%高くなりました。動きの品質はS2-Avatarが上回り、音声と映像の同期は主に同等で、使いやすさに差はありませんでした。

訓練条件をそろえた別の測定では、APEXのGPUごとのピーク割り当てGPUメモリーは4.4%少なく、平均反復時間は分布マッチング蒸留より9.2%短くなりました。著者らによると、条件シフトにより生成器と偽スコア推定器が1つのネットワークを共有でき、訓練時の負荷を減らせます。

清華大学の研究者は、少ないステップでストリーミング動画を生成する手法APEXを論文で発表しました。論文は11月10日に公開され、11月11日にarXivへ投稿されました。APEXは生成可能な動画の長さを180秒に延ばし、分布マッチング蒸留の独立した偽スコアネットワークを条件シフトに置き換えます。条件シフトは、生成器の内部で生成分布の速度場を推定する仕組みです。同じネットワークが元のテキスト条件で生成を導き、ずらした条件で偽スコアを推定します。独立した偽ネットワークをなくしつつ、S2-Avatarの凍結された参照教師、Self-Replay Forcing、知覚正則化を維持します。

研究者は、各ブロックでバックボーンを3回評価し、1ステップの空間リファイナーを使ってAPEXを評価しました。比較対象のS2-Avatarとは、70件の人間評価と320件のStreamAV-Bench比較で検証しました。Progressiveトラックの動画指示達成度はAPEXが3.856、S2-Avatarが3.831でした。両トラックの視覚美評価はそれぞれ0.641898と0.632606でした。人間評価では、指示追従でAPEXへの純選好が30.0%高く、一貫性と動画品質でも各4.3%高くなりました。動きの品質はS2-Avatarが上回り、音声と映像の同期は主に同等で、使いやすさに差はありませんでした。

訓練条件をそろえた別の測定では、APEXのGPUごとのピーク割り当てGPUメモリーは4.4%少なく、平均反復時間は分布マッチング蒸留より9.2%短くなりました。著者らによると、条件シフトにより生成器と偽スコア推定器が1つのネットワークを共有でき、訓練時の負荷を減らせます。