Tencent Hunyuan、少ステップ拡散モデル向けFewStepRLを発表

Tencent Hunyuanの研究者は11月6日、少ステップ拡散モデル向けに強化学習の目的関数を適応させる手法「FewStepRL」を論文で発表しました。既存の目的関数は多くの場合、学習の各反復で現行モデルを実行します。多段サンプラーを使うと、この実行が学習コストの大部分を占めることがあります。少ステップモデルはそのコストを抑えますが、瞬間的な速度ではなく、区間ごとの平均速度を予測するため、多段サンプリングを前提とした既存の目的関数をそのまま使えません。

研究者は目的関数の適応を3段階で行います。まず、x空間変換によって目的関数を共通のポリシー予測で表現します。通常は、きれいな出力と、遷移またはフローマップ目的関数で指定される水準の予測を使います。これにより、確率密度、速度、報酬に基づく目的関数を比較できるようになります。次に、勾配分解で各目的関数の勾配を、参照先への自己回帰と報酬による加算に分けます。そのため、手法の基準点と重みが主要な選択要素になります。最後に、アンカー適応では、輸送の終点または接線に沿って少ステップモデルから基準点を計算します。瞬間速度はモデルまたは補助ネットワークが与えます。

この手法により、FlowGRPO、AWM、DiffusionNFT、DiffusionOPSD、ReFLの少ステップ版が、モジュール式の単一コードベースに実装されました。実験では、報酬が微分可能で、その勾配を低コストで得られる場合、報酬勾配法が最良の結果を示しました。それ以外では、DiffusionNFT系の手法が比較的少ない反復回数で高い報酬に達する傾向がありましたが、1回の反復にかかるコストは大きくなる場合があります。推論ステップを増やしても、全体として一貫した改善はありませんでした。一方、学習時の2〜4倍のステップ数でサンプリングすると、目に見えて改善する出力もありました。

Tencent Hunyuanの研究者は11月6日、少ステップ拡散モデル向けに強化学習の目的関数を適応させる手法「FewStepRL」を論文で発表しました。既存の目的関数は多くの場合、学習の各反復で現行モデルを実行します。多段サンプラーを使うと、この実行が学習コストの大部分を占めることがあります。少ステップモデルはそのコストを抑えますが、瞬間的な速度ではなく、区間ごとの平均速度を予測するため、多段サンプリングを前提とした既存の目的関数をそのまま使えません。

研究者は目的関数の適応を3段階で行います。まず、x空間変換によって目的関数を共通のポリシー予測で表現します。通常は、きれいな出力と、遷移またはフローマップ目的関数で指定される水準の予測を使います。これにより、確率密度、速度、報酬に基づく目的関数を比較できるようになります。次に、勾配分解で各目的関数の勾配を、参照先への自己回帰と報酬による加算に分けます。そのため、手法の基準点と重みが主要な選択要素になります。最後に、アンカー適応では、輸送の終点または接線に沿って少ステップモデルから基準点を計算します。瞬間速度はモデルまたは補助ネットワークが与えます。

この手法により、FlowGRPO、AWM、DiffusionNFT、DiffusionOPSD、ReFLの少ステップ版が、モジュール式の単一コードベースに実装されました。実験では、報酬が微分可能で、その勾配を低コストで得られる場合、報酬勾配法が最良の結果を示しました。それ以外では、DiffusionNFT系の手法が比較的少ない反復回数で高い報酬に達する傾向がありましたが、1回の反復にかかるコストは大きくなる場合があります。推論ステップを増やしても、全体として一貫した改善はありませんでした。一方、学習時の2〜4倍のステップ数でサンプリングすると、目に見えて改善する出力もありました。