コーディングエージェントの実行環境、費用に最大3倍の差
- •コーディングエージェントの実行環境3種を比較
- •課題あたりの費用は最大3倍差、492課題の成功率差は統計的誤差の範囲
- •研究チームは反復検証とプロンプト・ツール定義の簡素化を推奨
中国の山東大学と米国のカリフォルニア大学バークレー校の研究チームは、オンラインアーカイブで公開した研究で、コーディングエージェントの実行環境（モデルがコードを修正し、ツールを呼び出して作業する環境）3種を比較しました。環境によって課題あたりの費用は最大3倍異なりましたが、コード作成の成功率の差は統計的誤差の範囲にとどまったとしています。比較対象は、AnthropicのClaude Code、オープンソースツールのOpenCode、最小限の機能で構成されたmini-SWE-agentです。
研究チームは、オープンウェイトモデルのQwen3.6-35B-A3BとQwen3.8-27B、APIベースのDeepSeek-V4-Flash、GLM-5.3-Flash、HY4-Previewの計5モデルを試しました。基準モデルとして、Claude Code上で実行したClaude Opus 5も含めています。評価には、コード修正能力を測るSWE-bench Verifiedのオフライン課題492件を使いました。人が解くのに1～4時間以上かかる難しい課題45件と、残る447件に分けて分析しました。
難しい課題では、実行環境を変えるたびに約13%の問題で成功・失敗が入れ替わりましたが、同じ環境で繰り返し実行した場合にも同程度の変動が見られました。研究チームは、環境ごとの性能差に見える結果の多くが、実行ごとに生じる確率的な変動である可能性を指摘しました。モデル開発元が自社モデル向けに作った環境も、成功率が一貫して高いわけではありませんでした。DeepSeekの公式コマンドライン環境も成功率は他の環境と同じ範囲でしたが、課題あたりの費用は比較対象中で最も高くなりました。
大規模な課題では、OpenCodeのスコアが他の環境より最大9ポイント低くなりました。その差の約半分は、出力トークン上限の3万2000個に達し、コードの修正パッチを書く前に実行が止まった事例によるものでした。Claude Codeには同じ上限に達した際、モデルに続きを出力するよう自動で依頼する復旧機能がありました。
費用の差は最初のAPI呼び出しから生じました。システムプロンプトとツール定義に含まれる固定コンテキストは、Claude Codeでは1万トークンを超えましたが、mini-SWE-agentでは800トークン台でした。作業段階が増えると、この差が費用負担を押し上げます。ただし、DeepSeekモデルではmini-SWE-agentの呼び出し回数が増えて費用順位が逆転する例もあり、費用効率はモデルと作業方法の組み合わせによって異なりました。研究チームは、複雑な環境の優位性を1回の実行だけで判断せず、十分な数の課題を使って繰り返し検証するよう勧めています。プロンプトとツール定義を簡素化したうえで、実際に使うモデルで費用と性能を繰り返し測定し、改善が確認できた機能だけを残すことも提案しました。