LMSYS、コーディングエージェントの学習成果を向上

LMSYSはAMD Instinct MI355X上で、非同期のエージェント型強化学習を用いてQwen3-30B-A3B-Instructを訓練しました。SWE-bench Verifiedから層化抽出した100タスクで、pass@1スコアは7.3%から27.5%に上昇しました。チームはROCmコンテナ内でMiles、SGLang、Megatron-LM、Harborを使用し、長時間かかる軌跡、CPUサンドボックス、データ移動を主なボトルネックとして挙げています。

訓練は2段階で行われました。まず、成功したOpen-SWE-Tracesのエージェント実行約4,000件で教師あり微調整を1エポック実施し、その後、SWE-bench Verifiedに含まれない47リポジトリのSWE-smithタスク約1,350件で非同期GRPOを行いました。各タスクを8回試行し、リポジトリのテストに合格すると報酬1を付与しました。KLペナルティはなく、評価では各タスクを4回試行しました。軌跡は1ターンあたり生成トークン8,192個、合計65,536個、80ターンを上限としました。

コーディングエージェントの訓練では、モデルがGitHubの課題を読み、サンドボックス内でシェルコマンドを20〜100回以上実行し、テスト後に報酬を得る一連の処理が1サンプルになります。GRPOでは通常、同じグループの試行のうち最も遅いものを待ちますが、同じタスクの2試行で長さに2.5倍の差が生じることもありました。今回の実行では軌跡の84%がターン上限に達した一方、成功した実行のターン数は中央値で8回でした。また、軌跡の90%が終了した後にも、ロールアウト時間の32%が費やされました。軌跡の長さに上限を設けると、成功した実行に影響を与えずに学習ステップを3倍高速化できました。

システムはノード間で推論と訓練を分け、各ノードにMI355Xを8基搭載しました。推論には単一GPUのSGLangエンジンを8基使い、Megatron-LMがモデルを訓練して更新後の重みを送り返しました。Milesにより、すべての軌跡が完了するのを待たずにロールアウトと訓練を並行できました。計測した学習ステップの平均は208秒で、内訳はアクターの更新が63%、ロールアウトの待ち時間が29%、対数確率の再計算が8%でした。重みの同期は別に記録されました。

各軌跡にはCPUサンドボックスが必要なため、チームは環境をE2Bのクラウド型マイクロVM（軽量な仮想マシン）に移しました。各環境は仮想CPU 2基、メモリー4GBです。4ノードで384軌跡を並行実行したところ、処理量は毎時約3,480件となり、ローカルDockerの基準値である毎時約860件から約4倍に増えました。負荷がかかった状態でのサンドボックス起動時間の中央値は、クラウドで1.9秒、ローカルDockerで11.7秒でした。クラウド実行は軌跡ごとに15〜40秒を追加し、所要時間の4〜11%に当たりました。クラウド上の軌跡時間の77%はLLM呼び出し、22%はテスト、ツール呼び出し、サンドボックスの準備に使われました。安定稼働時には軌跡の2.6%が失敗し、トンネル経由のLLM呼び出し300,500件のうち0.09%でエラーが返りました。

チームは、インフラの障害がコード修正の誤りと同じ報酬ゼロとして扱われる問題も確認しました。軌跡の3.1%はインフラエラーで終了しました。処理規模を拡大すると、1台あたりDockerネットワーク31個、クラスター全体で毎時100回のイメージダウンロード、Miles内のエージェント接続100件、エージェント要求を処理するCPUコア1基などの固定上限も表面化しました。並行処理の上限を撤廃し、共有サンドボックスネットワークを使い、エンジンのコンテキストを64Kトークンに制限し、NCCLインターフェースを固定してHIPグラフを有効に保つことで、報告されたボトルネックに対処しました。コンテキスト上限がない場合、生成が113K〜186Kトークンに達し、エンジンのKVキャッシュ150万トークンを使い切ることがありました。

ベースモデルのpass@1は7.3%で、教師あり微調整後に12.8%となり、エージェント型強化学習でさらに14.7ポイント上昇して27.5%に達しました。訓練は145ステップ続き、3回の再起動後にチェックポイントから再開しました。推論を8 GPU搭載の1ノードから3ノードへ拡張し、クラウドサンドボックスを導入して並行処理の上限を外した比較では、ロールアウト処理量が約4倍になりました。これは、同じ8 GPUの推論ノードで軌跡の長さを制限して学習ステップを3倍高速化した比較とは別です。チームは今後の実行候補としてDeepSeek-V4-FlashとGLM-5.3を挙げました。

LMSYSはAMD Instinct MI355X上で、非同期のエージェント型強化学習を用いてQwen3-30B-A3B-Instructを訓練しました。SWE-bench Verifiedから層化抽出した100タスクで、pass@1スコアは7.3%から27.5%に上昇しました。チームはROCmコンテナ内でMiles、SGLang、Megatron-LM、Harborを使用し、長時間かかる軌跡、CPUサンドボックス、データ移動を主なボトルネックとして挙げています。

訓練は2段階で行われました。まず、成功したOpen-SWE-Tracesのエージェント実行約4,000件で教師あり微調整を1エポック実施し、その後、SWE-bench Verifiedに含まれない47リポジトリのSWE-smithタスク約1,350件で非同期GRPOを行いました。各タスクを8回試行し、リポジトリのテストに合格すると報酬1を付与しました。KLペナルティはなく、評価では各タスクを4回試行しました。軌跡は1ターンあたり生成トークン8,192個、合計65,536個、80ターンを上限としました。

コーディングエージェントの訓練では、モデルがGitHubの課題を読み、サンドボックス内でシェルコマンドを20〜100回以上実行し、テスト後に報酬を得る一連の処理が1サンプルになります。GRPOでは通常、同じグループの試行のうち最も遅いものを待ちますが、同じタスクの2試行で長さに2.5倍の差が生じることもありました。今回の実行では軌跡の84%がターン上限に達した一方、成功した実行のターン数は中央値で8回でした。また、軌跡の90%が終了した後にも、ロールアウト時間の32%が費やされました。軌跡の長さに上限を設けると、成功した実行に影響を与えずに学習ステップを3倍高速化できました。

システムはノード間で推論と訓練を分け、各ノードにMI355Xを8基搭載しました。推論には単一GPUのSGLangエンジンを8基使い、Megatron-LMがモデルを訓練して更新後の重みを送り返しました。Milesにより、すべての軌跡が完了するのを待たずにロールアウトと訓練を並行できました。計測した学習ステップの平均は208秒で、内訳はアクターの更新が63%、ロールアウトの待ち時間が29%、対数確率の再計算が8%でした。重みの同期は別に記録されました。

各軌跡にはCPUサンドボックスが必要なため、チームは環境をE2Bのクラウド型マイクロVM（軽量な仮想マシン）に移しました。各環境は仮想CPU 2基、メモリー4GBです。4ノードで384軌跡を並行実行したところ、処理量は毎時約3,480件となり、ローカルDockerの基準値である毎時約860件から約4倍に増えました。負荷がかかった状態でのサンドボックス起動時間の中央値は、クラウドで1.9秒、ローカルDockerで11.7秒でした。クラウド実行は軌跡ごとに15〜40秒を追加し、所要時間の4〜11%に当たりました。クラウド上の軌跡時間の77%はLLM呼び出し、22%はテスト、ツール呼び出し、サンドボックスの準備に使われました。安定稼働時には軌跡の2.6%が失敗し、トンネル経由のLLM呼び出し300,500件のうち0.09%でエラーが返りました。

チームは、インフラの障害がコード修正の誤りと同じ報酬ゼロとして扱われる問題も確認しました。軌跡の3.1%はインフラエラーで終了しました。処理規模を拡大すると、1台あたりDockerネットワーク31個、クラスター全体で毎時100回のイメージダウンロード、Miles内のエージェント接続100件、エージェント要求を処理するCPUコア1基などの固定上限も表面化しました。並行処理の上限を撤廃し、共有サンドボックスネットワークを使い、エンジンのコンテキストを64Kトークンに制限し、NCCLインターフェースを固定してHIPグラフを有効に保つことで、報告されたボトルネックに対処しました。コンテキスト上限がない場合、生成が113K〜186Kトークンに達し、エンジンのKVキャッシュ150万トークンを使い切ることがありました。

ベースモデルのpass@1は7.3%で、教師あり微調整後に12.8%となり、エージェント型強化学習でさらに14.7ポイント上昇して27.5%に達しました。訓練は145ステップ続き、3回の再起動後にチェックポイントから再開しました。推論を8 GPU搭載の1ノードから3ノードへ拡張し、クラウドサンドボックスを導入して並行処理の上限を外した比較では、ロールアウト処理量が約4倍になりました。これは、同じ8 GPUの推論ノードで軌跡の長さを制限して学習ステップを3倍高速化した比較とは別です。チームは今後の実行候補としてDeepSeek-V4-FlashとGLM-5.3を挙げました。