SWE-CoWork、実務形式でコーディングエージェントを評価

SWE-CoWork、実務形式でコーディングエージェントを評価
2026年11月18日 水曜日
  • •SWE-CoWorkは実在するリポジトリの101件の課題と模擬組織を使い、コーディングエージェントを評価
  • •上位2モデルは失敗から成功へのテストの約63%に合格した一方、課題の完了率は8%未満
  • •要件をすべて事前提示すると2モデルの合格率は約16ポイント上昇したが、課題完了率は変わらず

研究者らは11月15日公開の論文で、模擬組織のソフトウェア課題を使ってコーディングエージェントを評価するベンチマーク「SWE-CoWork」を発表しました。SWE-CoWorkには実在する101のリポジトリから集めた101件の課題が含まれ、11のプログラミング言語と12のアプリケーション分野にまたがります。各課題でエージェントは簡潔な引き継ぎ情報を受け取り、模擬の同僚26人や職場の記録から要件を集め、食い違う情報を整理して変更を実装し、非公開の実行可能なテストに合格する必要があります。

研究者らは11モデルを評価しました。上位2モデルは、以前は失敗していたテストが通るようになったかを確かめる「失敗から成功へのテスト」の約63%に合格しましたが、課題を完了した割合は8%未満でした。Seed EvolvingとGPT-6 Astraに完全な要件を最初から与えると、両モデルの同テストの結果は約16ポイント上昇しましたが、課題全体の成功率は変わりませんでした。

詳しい分析では、作業の各段階に問題が見つかりました。Claude-Opus-5.5は複数回の試行で、カードについて最初に尋ねた質問の平均93%を担当する同僚に向けましたが、同僚が持つ要件のうち取得できたのは64%でした。エージェントは後回しにされた質問を追って確認せず、要件を得た後も実装を完了できない場合がありました。また、エージェントが完了済みと記録した要件の31%はテストに失敗しました。著者らは、自律的なソフトウェア開発の信頼性を高める課題として、確認から実装、検証、引き継ぎまで要件を継続して追跡することを挙げています。

AIBニュースレターを購読

最も速く正確なAIニュースをメールでいかがですか?

この記事に関連するブログ