長期行動する言語モデルエージェントの訓練法を提案

「長期行動する大規模言語モデルエージェントのためのマルチスケール方策最適化」と題した論文が10月26日に公開され、10月28日にHugging Faceへ提出されました。著者らは、長い一連のやり取りを行う言語モデルエージェントを訓練する強化学習の枠組みとして、マルチスケール方策最適化（MPO）を提案しています。検索、ツール利用、自動化のタスクで4Bおよび30B-A3Bのモデルを実験し、強力な強化学習ベースラインを一貫して上回る改善を報告しました。

エージェントはトークンごとに行動を生成する一方、環境とはアシスタントの応答ターン全体を通じてやり取りすると、著者らは説明しています。状態の見込みを推定するクリティック値は、主にターン間で変動することが観察されました。このため、方策の最適化はターン単位で行いながら、トークン間ではより細かく信用を割り当てる方法を考案しました。MPOは、マルチスケール優位性推定（MAE）とターン単位の重要度サンプリングを組み合わせ、信用割当とターン規模の方策更新をそろえます。論文の要約には数値結果がなく、比較対象のベースラインも明記されていません。

コメント投稿者は、ターンの長さが大きく異なる場合に、ターン単位の重要度比が信頼できるかを質問しました。例として、40トークンの関数呼び出しと6,000トークンのファイル読み込みを挙げています。また、ターン内でほぼ一定のクリティック値を推論時のターン単位の異常スコアとして使える可能性や、方策の変化に伴ってその値の較正が保たれるかも尋ねました。これらはコメント投稿者の質問と提案であり、論文の要約は回答や用途の評価を示していません。

「長期行動する大規模言語モデルエージェントのためのマルチスケール方策最適化」と題した論文が10月26日に公開され、10月28日にHugging Faceへ提出されました。著者らは、長い一連のやり取りを行う言語モデルエージェントを訓練する強化学習の枠組みとして、マルチスケール方策最適化（MPO）を提案しています。検索、ツール利用、自動化のタスクで4Bおよび30B-A3Bのモデルを実験し、強力な強化学習ベースラインを一貫して上回る改善を報告しました。

エージェントはトークンごとに行動を生成する一方、環境とはアシスタントの応答ターン全体を通じてやり取りすると、著者らは説明しています。状態の見込みを推定するクリティック値は、主にターン間で変動することが観察されました。このため、方策の最適化はターン単位で行いながら、トークン間ではより細かく信用を割り当てる方法を考案しました。MPOは、マルチスケール優位性推定（MAE）とターン単位の重要度サンプリングを組み合わせ、信用割当とターン規模の方策更新をそろえます。論文の要約には数値結果がなく、比較対象のベースラインも明記されていません。

コメント投稿者は、ターンの長さが大きく異なる場合に、ターン単位の重要度比が信頼できるかを質問しました。例として、40トークンの関数呼び出しと6,000トークンのファイル読み込みを挙げています。また、ターン内でほぼ一定のクリティック値を推論時のターン単位の異常スコアとして使える可能性や、方策の変化に伴ってその値の較正が保たれるかも尋ねました。これらはコメント投稿者の質問と提案であり、論文の要約は回答や用途の評価を示していません。