10月12日にarXivで公開された研究論文は、検証可能な報酬で言語モデルに推論を学習させる手法「Tracking-Value PPO（TPPO）」を発表しました。著者らによると、報酬が推論の最後にだけ与えられる場合、標準的なPPOの批評モデルは、推論の進行に伴う価値の変化を追跡できないことがよくあります。

研究チームは、連続する接頭辞（トークン列の途中までの部分列）に割り当てられた価値を分析し、対数オッズ空間での加算更新を通じてベイズ形式に分解できると示しました。TPPOはこの構造を累積価値パラメーター化に用い、位置ごとのスカラー出力を足して価値ロジットを作り、最終結果による教師信号でそれらの出力を学習します。

Qwen 3-4B-BaseとQwen 3-8B-Baseでは、数学的推論の総合スコアがPPOをそれぞれ7.0点、8.4点上回りました。論文は分布外への汎化性能の向上も報告し、その改善はQwen 3-4B、Qwen 2.5-Math-1.5B、Qwen 3.5-9B、カウントダウン課題、科学計算コード課題にも及びました。追加分析では、価値の推移をより正確に追跡し、アドバンテージ推定の信頼性も高まったとしています。著者らによると、コードはGitHubで公開されています。

10月12日にarXivで公開された研究論文は、検証可能な報酬で言語モデルに推論を学習させる手法「Tracking-Value PPO（TPPO）」を発表しました。著者らによると、報酬が推論の最後にだけ与えられる場合、標準的なPPOの批評モデルは、推論の進行に伴う価値の変化を追跡できないことがよくあります。

研究チームは、連続する接頭辞（トークン列の途中までの部分列）に割り当てられた価値を分析し、対数オッズ空間での加算更新を通じてベイズ形式に分解できると示しました。TPPOはこの構造を累積価値パラメーター化に用い、位置ごとのスカラー出力を足して価値ロジットを作り、最終結果による教師信号でそれらの出力を学習します。

Qwen 3-4B-BaseとQwen 3-8B-Baseでは、数学的推論の総合スコアがPPOをそれぞれ7.0点、8.4点上回りました。論文は分布外への汎化性能の向上も報告し、その改善はQwen 3-4B、Qwen 2.5-Math-1.5B、Qwen 3.5-9B、カウントダウン課題、科学計算コード課題にも及びました。追加分析では、価値の推移をより正確に追跡し、アドバンテージ推定の信頼性も高まったとしています。著者らによると、コードはGitHubで公開されています。