コーディングAI評価、首位も45.5％
- •コグニションが実際の開発環境を反映した評価ツール「フロンティアコード2.0」を公開
- •クロード・オーパス5.5が45.5％で首位、主要モデルはすべて50％未満
- •完全性の必須項目で失敗率19.2％、最大推論でも暗黙の要件に課題
コグニションは先月27日、公式ブログで実際のソフトウェア開発環境を反映したコーディング評価ツール「フロンティアコード2.0」を公開しました。開発者がAIの修正結果を確認し、既存プロジェクトに取り込めるかを評価します。コードの機能的な正確さを主に測ってきた従来のベンチマークとは異なります。コグニションは、従来の評価スコアが急速に上がる一方で、実際の開発現場の限界を十分に示せていないと指摘しました。
評価には、実際のオープンソースプロジェクトを使った132件の課題が含まれます。セキュリティ上の脆弱性の修正や性能の最適化など複雑な作業を取り入れ、前のバージョンより対象プロジェクトと修正コードの規模も拡大しました。必須条件を満たさない場合、その課題では得点できない基準を設けています。
公式リーダーボードでは、クロード・オーパス5.5が45.5％で首位でした。GPT-6 Astraは42.8％、クロード・ソネット5.5は41.0％、ジェミニ4 Carbonは40.0％、GPT-6.1 Solは39.0％で、主要なAIコーディングモデルはすべて50％に届きませんでした。フロンティアコード1.1では、オーパス5.5が54.6％、GPT-6 Astraが53.3％でした。コグニションは、今回の得点低下はモデル性能の低下によるものではなく、課題が複雑になり、コード品質への要求が高まったためだと説明しています。
最も弱かった項目は「完全性」でした。指示された機能だけでなく、既存コードや開発の文脈を確認し、明示されていない要件まで処理したかを評価します。主要4モデルでは、完全性に関する必須項目の失敗率が19.2％となり、主要機能の実装失敗率14.9％を上回りました。推論レベルを最大にしても、完全性の失敗率は15.3％でした。
例として、JavaScriptライブラリーのモック用サービスワーカーのエラーを直す課題では、オーパス5.5は特定機能の初期化エラーを修正したものの、既存の処理を正常に終了させる手順を省きました。そのため、不要なリソースが残ったり、プログラムが不安定になったりする可能性がありました。オーパス5.5は5種類の推論設定で各5回、計25回実行されましたが、すべて評価基準を通過できませんでした。コグニションは、これを単純なコーディングミスではなく、作業全体の文脈を理解する能力に関わる問題と分析しました。
推論により多くの資源を使っても、コード品質が向上するとは限りません。コグニションは、モデルが必要以上に多くのファイルを変更したり、既存の設計を大幅に変えたりするケースを確認しました。モバイル分析ソフトウェアPostHogのデータ送信順序の問題について、GPT-6 Astraは低い推論レベルでは5回すべて解決しましたが、最大推論レベルでは5回中1回しか成功しませんでした。解決の過程で公開プログラムインターフェースを削除し、他のプログラムとの互換性を損ないました。
コグニションは、AIが独立したソフトウェア開発者として機能するには、不完全な要件を解釈し、既存プロジェクトの制約も把握する必要があると述べました。実際の開発では、問題解決に必要な変更範囲を判断し、既存機能を保ちながら副作用を防ぐ能力も重要だとしています。