SWE-Trail、コーディングエージェントの学習データ収集を改善

コーディングエージェントの学習用データを集める手法「SWE-Trail」が、過去の試行をエージェントの入力に含めず、追加探索に使う場所の選定に活用します。この手法は、11月1日公開のarXiv論文で発表され、Ant GroupのZiming Li、Lu Yu、Jiatan Huang、Qing Cui、Jun Zhou、Chuxu Zhangが11月3日にHugging Faceへ提出しました。コーディングエージェントは、リポジトリの課題を調査、コード編集、検証の連続で解決します。こうした作業経路は事後学習データとして使われることが増えており、収集方法が学生モデルの学習内容に影響します。

研究者らによると、課題ごとに複数の経路を独立にサンプリングすると、後の試行ほど内容が重複しやすくなります。過去の試行を助言としてエージェントに与えれば探索を導けますが、テスト時にはその助言がないため、訓練とテストの条件にずれが生じる可能性があります。SWE-Trailは履歴をエージェントの入力の外に置き、収集の労力をどこに割くかの判断に使います。生成する内容はエージェント自身が決めます。

新たな試行では、SWE-Trailが過去の経路を使って、さらに探索する価値のある状態を特定します。同じチェックポイント（処理を保存した時点）から、コーディングエージェントが通常の入力情報に基づいて次の行動候補を提案します。SWE-Trailは候補を短時間実行し、続行する経路を選びます。研究者らは、各手法で集めた経路を使って学生モデルを訓練し、データ収集法を評価しました。

Ling-3.0-flash-baseを初期モデルとする124Bの学生モデルでは、独立サンプリングに比べて平均解決率がSWE-bench Multilingualで2.33ポイント、SWE-bench Proで1.60ポイント向上しました。履歴を使わず同じパイプラインを用いた場合も、独立サンプリングより解決した経路は増えましたが、Multilingualでの改善は0.11ポイントにとどまりました。著者らは、向上の理由をパイプライン単独ではなく、履歴を使った収集先の誘導にあると説明しています。

コーディングエージェントの学習用データを集める手法「SWE-Trail」が、過去の試行をエージェントの入力に含めず、追加探索に使う場所の選定に活用します。この手法は、11月1日公開のarXiv論文で発表され、Ant GroupのZiming Li、Lu Yu、Jiatan Huang、Qing Cui、Jun Zhou、Chuxu Zhangが11月3日にHugging Faceへ提出しました。コーディングエージェントは、リポジトリの課題を調査、コード編集、検証の連続で解決します。こうした作業経路は事後学習データとして使われることが増えており、収集方法が学生モデルの学習内容に影響します。

研究者らによると、課題ごとに複数の経路を独立にサンプリングすると、後の試行ほど内容が重複しやすくなります。過去の試行を助言としてエージェントに与えれば探索を導けますが、テスト時にはその助言がないため、訓練とテストの条件にずれが生じる可能性があります。SWE-Trailは履歴をエージェントの入力の外に置き、収集の労力をどこに割くかの判断に使います。生成する内容はエージェント自身が決めます。

新たな試行では、SWE-Trailが過去の経路を使って、さらに探索する価値のある状態を特定します。同じチェックポイント（処理を保存した時点）から、コーディングエージェントが通常の入力情報に基づいて次の行動候補を提案します。SWE-Trailは候補を短時間実行し、続行する経路を選びます。研究者らは、各手法で集めた経路を使って学生モデルを訓練し、データ収集法を評価しました。

Ling-3.0-flash-baseを初期モデルとする124Bの学生モデルでは、独立サンプリングに比べて平均解決率がSWE-bench Multilingualで2.33ポイント、SWE-bench Proで1.60ポイント向上しました。履歴を使わず同じパイプラインを用いた場合も、独立サンプリングより解決した経路は増えましたが、Multilingualでの改善は0.11ポイントにとどまりました。著者らは、向上の理由をパイプライン単独ではなく、履歴を使った収集先の誘導にあると説明しています。