DiffusionARTと題した研究論文が10月8日にHugging Faceで公開され、10月12日に投稿されました。Zhenglin Wan氏らKlingAI Researchの研究者は、強化学習で拡散モデルを微調整する手法を提案しています。論文によると、既存手法にはトレードオフがあります。Flow-GRPOなど逆過程の手法は、報酬をどの段階に割り当てるかが不十分なため効率に限界があり、DiffusionNFTなど順過程の手法は効率的ですが、オフポリシーサンプルを使う指数移動平均（過去の値を重み付けして平均する方法）の学習を慎重に調整しないと不安定になります。

論文は、NFT型の目的関数には順方向と逆方向の整合性を促す力が潜在し、正例と負例の学習を組み合わせても一部しか相殺されないと説明しています。また、指数移動平均はオフポリシーのロールアウトではなく、学習状態の復元によって訓練を安定させるとしています。研究者らはこの課題に対し、DiffusionART（集約優先の報酬傾斜を用いる拡散強化学習）を導入しました。各プロンプトの報酬を集約し、逆過程の状態を改善する共通の方向を作ります。設計上、整合性を促す力を取り除き、信頼領域マスクを使った2回目の更新を加えて、変化に応じて復元します。指数移動平均の調整は必要ありません。

論文によると、DiffusionARTは微分可能な報酬モデルを必要とせず、プロンプトごとのサンプル数が少なくても効果を保ちます。ペアワイズ報酬モデルにも対応し、その方式はDiffusionART-Pairwiseと名付けられています。画像と動画の生成で、タスクごとの調整なしに効率的かつ安定して学習できるとしています。視覚品質と動きの品質に同じ重みを与えたHunyuanVideo-13Bの評価では、DiffusionNFTおよびFlow-GRPO-Fastが後半段階で得る平均報酬水準に、それぞれ12.0倍、11.7倍少ないGPU稼働時間で到達しました。平均学習報酬は比較対象に対してそれぞれ28.8％、53.0％高かったと報告しています。論文はHugging Faceの「本日の論文」で1位に選ばれました。

DiffusionARTと題した研究論文が10月8日にHugging Faceで公開され、10月12日に投稿されました。Zhenglin Wan氏らKlingAI Researchの研究者は、強化学習で拡散モデルを微調整する手法を提案しています。論文によると、既存手法にはトレードオフがあります。Flow-GRPOなど逆過程の手法は、報酬をどの段階に割り当てるかが不十分なため効率に限界があり、DiffusionNFTなど順過程の手法は効率的ですが、オフポリシーサンプルを使う指数移動平均（過去の値を重み付けして平均する方法）の学習を慎重に調整しないと不安定になります。

論文は、NFT型の目的関数には順方向と逆方向の整合性を促す力が潜在し、正例と負例の学習を組み合わせても一部しか相殺されないと説明しています。また、指数移動平均はオフポリシーのロールアウトではなく、学習状態の復元によって訓練を安定させるとしています。研究者らはこの課題に対し、DiffusionART（集約優先の報酬傾斜を用いる拡散強化学習）を導入しました。各プロンプトの報酬を集約し、逆過程の状態を改善する共通の方向を作ります。設計上、整合性を促す力を取り除き、信頼領域マスクを使った2回目の更新を加えて、変化に応じて復元します。指数移動平均の調整は必要ありません。

論文によると、DiffusionARTは微分可能な報酬モデルを必要とせず、プロンプトごとのサンプル数が少なくても効果を保ちます。ペアワイズ報酬モデルにも対応し、その方式はDiffusionART-Pairwiseと名付けられています。画像と動画の生成で、タスクごとの調整なしに効率的かつ安定して学習できるとしています。視覚品質と動きの品質に同じ重みを与えたHunyuanVideo-13Bの評価では、DiffusionNFTおよびFlow-GRPO-Fastが後半段階で得る平均報酬水準に、それぞれ12.0倍、11.7倍少ないGPU稼働時間で到達しました。平均学習報酬は比較対象に対してそれぞれ28.8％、53.0％高かったと報告しています。論文はHugging Faceの「本日の論文」で1位に選ばれました。