Baseten、強化学習で批評器の計算効率を検証

Basetenの研究者は、言語モデルの強化学習で学習済み価値関数（回答の価値を推定するモデル）である批評器に、学習と評価の計算量を費やす価値がある条件を小規模な実験で調べました。グループ報酬に批評器を加えると、単一ターンの2課題でアドバンテージ分散を最大40〜60％除去しました。研究者らは、計算効率を高めるには、批評器による分散削減率が追加計算量の割合を超える必要があると結論づけています。

近接方策最適化（PPO）は、学習済み批評器を使い、各トークンの時点で回答の得点を推定します。グループ相対方策最適化（GRPO）はこの第2のネットワークを取り除き、各回答の報酬を同じプロンプトへの他の回答の平均と比べます。記事によると、DeepSeek-R1-Zeroが2025年1月に公開された後、GRPOは推論型強化学習の標準手法となりましたが、ICLRへの投稿論文の一部では批評器が再び使われています。研究者らが調べた公開研究では、同じステップ数でPPOの批評器はGRPOに並ぶか劣りました。ALFWorld／数学課題でGAVEはPPOが63.9／36.8、GRPOが64.1／44.4、エージェント型数学課題でPACTは59.7対64.1、数学課題で3つの乱数シードを用いたGenACは50.85対49.96でした。他の報告された改善例では、ターン単位で貢献度を割り当てたり、生成を早期終了したりするために批評器を使っています。

研究者らは、回答のトークン接頭辞から予測できる報酬の変動と、グループ内の他の回答だけからプロンプトの平均報酬を推定する際に生じるノイズを区別しています。接頭辞だけを見る批評器は、この基準値のノイズを除去できません。接頭辞に基づく価値推定では、Qwen3-4BをDAPO数学データセットと内部のレジスター追跡データセットで使い、64個のプロンプトについて8つの回答それぞれの8か所で、新たな続きの回答を16件ずつ抽出しました。予測可能な分散の割合は0.31〜0.54で、グループ数G = 8の場合、分散削減の上限は約27〜47％となり、基準値のノイズを約40〜60％相殺することに相当しました。実際に得られたグループ基準値も見る批評器なら、理論上このノイズを相殺できます。

計算量の比較では、批評器が説明する分散（アドバンテージ分散から除去された割合）がc/(1+c)を上回る場合に、導入する価値があるとされます。Qwen3-4Bによるオフラインの推論ジム実験では、36層中最後の3層を使う価値ヘッドは計算量を0.083追加し、アドバンテージ分散の0.248を説明し、効率倍率は推定1.23倍でした。最後の6層を使う場合は計算量が0.17増え、説明した分散は0.286、効率倍率は1.20倍でした。バッチごとに1回学習する別の批評器は計算量を0.75追加し、分散を0.354説明しましたが、効率倍率は0.88倍でした。研究者らの批評器をバッチごとに2回学習すると、計算量は1.83増え、説明した分散は同じ0.354で、効率倍率は0.55倍でした。研究者らは、これらは分散に基づく推定値であり、方策勾配の分散もアドバンテージ分散に比例して低下するという前提が必要だと注意を促しています。予測力が低くてもよい、ターン間の貢献度割り当てやロールアウトの早期終了といった特化型課題には、批評器が適する可能性があるとしています。

Basetenの研究者は、言語モデルの強化学習で学習済み価値関数（回答の価値を推定するモデル）である批評器に、学習と評価の計算量を費やす価値がある条件を小規模な実験で調べました。グループ報酬に批評器を加えると、単一ターンの2課題でアドバンテージ分散を最大40〜60％除去しました。研究者らは、計算効率を高めるには、批評器による分散削減率が追加計算量の割合を超える必要があると結論づけています。

近接方策最適化（PPO）は、学習済み批評器を使い、各トークンの時点で回答の得点を推定します。グループ相対方策最適化（GRPO）はこの第2のネットワークを取り除き、各回答の報酬を同じプロンプトへの他の回答の平均と比べます。記事によると、DeepSeek-R1-Zeroが2025年1月に公開された後、GRPOは推論型強化学習の標準手法となりましたが、ICLRへの投稿論文の一部では批評器が再び使われています。研究者らが調べた公開研究では、同じステップ数でPPOの批評器はGRPOに並ぶか劣りました。ALFWorld／数学課題でGAVEはPPOが63.9／36.8、GRPOが64.1／44.4、エージェント型数学課題でPACTは59.7対64.1、数学課題で3つの乱数シードを用いたGenACは50.85対49.96でした。他の報告された改善例では、ターン単位で貢献度を割り当てたり、生成を早期終了したりするために批評器を使っています。

研究者らは、回答のトークン接頭辞から予測できる報酬の変動と、グループ内の他の回答だけからプロンプトの平均報酬を推定する際に生じるノイズを区別しています。接頭辞だけを見る批評器は、この基準値のノイズを除去できません。接頭辞に基づく価値推定では、Qwen3-4BをDAPO数学データセットと内部のレジスター追跡データセットで使い、64個のプロンプトについて8つの回答それぞれの8か所で、新たな続きの回答を16件ずつ抽出しました。予測可能な分散の割合は0.31〜0.54で、グループ数G = 8の場合、分散削減の上限は約27〜47％となり、基準値のノイズを約40〜60％相殺することに相当しました。実際に得られたグループ基準値も見る批評器なら、理論上このノイズを相殺できます。

計算量の比較では、批評器が説明する分散（アドバンテージ分散から除去された割合）がc/(1+c)を上回る場合に、導入する価値があるとされます。Qwen3-4Bによるオフラインの推論ジム実験では、36層中最後の3層を使う価値ヘッドは計算量を0.083追加し、アドバンテージ分散の0.248を説明し、効率倍率は推定1.23倍でした。最後の6層を使う場合は計算量が0.17増え、説明した分散は0.286、効率倍率は1.20倍でした。バッチごとに1回学習する別の批評器は計算量を0.75追加し、分散を0.354説明しましたが、効率倍率は0.88倍でした。研究者らの批評器をバッチごとに2回学習すると、計算量は1.83増え、説明した分散は同じ0.354で、効率倍率は0.55倍でした。研究者らは、これらは分散に基づく推定値であり、方策勾配の分散もアドバンテージ分散に比例して低下するという前提が必要だと注意を促しています。予測力が低くてもよい、ターン間の貢献度割り当てやロールアウトの早期終了といった特化型課題には、批評器が適する可能性があるとしています。