ABSeeker、長期探索エージェントを訓練
- •ABSeekerはAnswer-Backtracked Credit Assignmentにより、ステップ単位の監督で長期探索エージェントを訓練した
- •論文によると、Qwen3.5-4BベースのABSeekerは訓練に8.5k例だけを使った
- •スコアはBrowseCompで37.3%、BrowseComp-ZHで39.1%に達し、文脈管理で向上した
研究者のイージュン・ルー(Yijun Lu)、ルイ・イエ(Rui Ye)、ジャージュン・ワン(Jiajun Wang)、ユーウェン・ドゥ(Yuwen Du)、ティエン・ジン(Tian Jin)、ソンファ・リウ(Songhua Liu)、シーヘン・チェン(Siheng Chen)は、Answer-Backtracked Credit Assignmentで訓練した長期探索エージェントABSeekerをHugging Face Papersで公開した。公開はAug 5の発表後で、ルイ・イエによる投稿はAug 6だった。論文は、長期探索エージェントが最終回答を出す前に、検索、取得、検証、証拠の統合に向けて複数の連続行動を取る必要がある一方、既存のSupervised Fine-TuningやReinforcement Learningの手法は通常、軌跡内のすべてのステップを同じように扱うと説明している。
Answer-Backtracked Credit Assignment、略称ABCは、探索経路全体だけを判定するのではなく、ステップ単位で信用割当を行うよう設計された。曖昧な可能性のある質問と正解が与えられると、ABCはまずAnswer-Backtracked Clue Recoveryを実行し、回答から逆向きにたどって問題解決に必要な中間手がかりを復元する。次にClue-Anchored Step Scoringを適用し、各検索ステップをそれらの手がかりに照らして評価することで、疎な二値の結果監督を密なステップ単位の報酬に変換する。
著者らは、その報酬を2つの訓練バリアントで使った。ABC-SFTはSupervised Fine-Tuning中に各ターンの損失を再重み付けし、ABC-GRPOはGRPOでステップ単位スコアを報酬として使う。この方法は、失敗した軌跡内の有用な行動を含めて役立つ行動に報酬を与え、多段階検索の過程で現れ得る誤った行動や冗長な行動を抑える。
ABSeekerはQwen3.5-4B上で、わずか8.5k例により訓練された。システムはBrowseCompで37.3%、BrowseComp-ZHで39.1%を達成した。文脈管理を加えるとスコアはそれぞれ55.3%、52.9%に上昇し、論文は同規模の4Bエージェントを大きく上回り、約30Bの大型エージェントの性能に並んだとしている。