SWE-benchといった既存のコーディングベンチマークは、上位モデルの成功率が80%を超えるなど、すでに「攻略」されつつある。しかし、これらのテストは単一のリポジトリ内でのバグ修正に限定されており、プロフェッショナルなソフトウェア開発の複雑な実態を十分に反映していない。こうした限界を打破するため、研究者たちは「BeyondSWE」を導入した。これは500のタスクで構成され、複数リポジトリ間の推論やシステム全体の生成能力を問う厳格な評価フレームワークである。

評価結果は、AI業界にとって一種の警鐘を鳴らすものとなった。最先端のフロンティアモデルでさえ、広範なスコープを持つ課題に対しては成功率が45%以下に留まっている。このベンチマークにより、すべてのカテゴリーで圧倒的な優位性を持つモデルは存在しないことが明らかになった。特定のバグ修正には長けていても、依存関係の移行やゼロからのリポジトリ構築においては苦戦するケースが散見される。

また、AIエージェントにインターネットへのアクセスを許可する「SearchSWE」についても検証が行われた。意外なことに、検索回数が増えても結果が向上するとは限らないことがデータで示されている。特にコーディングに特化したモデルの場合、検索機能の追加が逆にパフォーマンスを低下させる事例も確認された。情報を検索することと、それを複雑な論理構造に適用することの間には、自律型AI開発者にとって依然として大きな壁が存在している。

SWE-benchといった既存のコーディングベンチマークは、上位モデルの成功率が80%を超えるなど、すでに「攻略」されつつある。しかし、これらのテストは単一のリポジトリ内でのバグ修正に限定されており、プロフェッショナルなソフトウェア開発の複雑な実態を十分に反映していない。こうした限界を打破するため、研究者たちは「BeyondSWE」を導入した。これは500のタスクで構成され、複数リポジトリ間の推論やシステム全体の生成能力を問う厳格な評価フレームワークである。

評価結果は、AI業界にとって一種の警鐘を鳴らすものとなった。最先端のフロンティアモデルでさえ、広範なスコープを持つ課題に対しては成功率が45%以下に留まっている。このベンチマークにより、すべてのカテゴリーで圧倒的な優位性を持つモデルは存在しないことが明らかになった。特定のバグ修正には長けていても、依存関係の移行やゼロからのリポジトリ構築においては苦戦するケースが散見される。

また、AIエージェントにインターネットへのアクセスを許可する「SearchSWE」についても検証が行われた。意外なことに、検索回数が増えても結果が向上するとは限らないことがデータで示されている。特にコーディングに特化したモデルの場合、検索機能の追加が逆にパフォーマンスを低下させる事例も確認された。情報を検索することと、それを複雑な論理構造に適用することの間には、自律型AI開発者にとって依然として大きな壁が存在している。