DeepSWE

引用頻度 3/3
何を測定しますか?
Datacurveが作った試験で、AIコーディングエージェントが新しく書かれた長く複雑なソフトウェア課題を最後まで解決する力を見ます。
誰がどのように評価しますか?
5言語、活発なオープンソースのリポジトリ91か所向けの課題113個を、インターネットなしの隔離環境で解きます。課題ごとに人が書いた検証プログラムが動作を確認し、全体を4回実行して平均します。
スコアの読み方
スコアは0〜100%です。高いほど良い結果です。
最高スコア77.9%
測定したモデル28件
測定基準高いほど良い
最終更新2026.09.30
モデルのリリース時期

ひとりで長い開発課題を終えられる?

DeepSWE

  1. 🥇GoogleGemini 4 Argon推論強度: Max77.9%
  2. 🥈OpenAIGPT-6 Astra推論強度: Extra High74.1%
  3. 🥉GoogleGemini 3.8 Flash推論強度: High73.8%
  4. #4MiniMaxMiniMax M3-1 Flash73.7%
  5. #5AnthropicClaude Opus 5推論強度: Max73.6%
  6. #6OpenAIGPT-5.6 Sol推論強度: Max72.7%
  7. #7InklingInkling 2 Small72.1%
  8. #8AnthropicClaude Fable 5推論強度: Extra High69.9%
  9. #9OpenAIGPT-5.6 Terra推論強度: Max69.6%
  10. #10Z.aiGLM 5.3推論強度: Max69.0%
  11. #11Moonshot AIKimi K3推論強度: Max68.5%
  12. #12SpaceXSIGrok 4.6推論強度: Medium67.5%
  13. #13OpenAIGPT-5.6 Luna推論強度: Max67.2%
  14. #14OpenAIGPT-5.5推論強度: Extra High67.0%
  15. #15GoogleGemini 3.7 Flash推論強度: Medium65.5%
  16. #16Z.aiGLM 5.3 Flash推論強度: Max63.4%
  17. #17AnthropicClaude Opus 4.8推論強度: Max59.0%
  18. #18MetaMuse Spark 1.2推論強度: Extra High54.9%
  19. #19AnthropicClaude Sonnet 5推論強度: Max53.8%
  20. #20SpaceXSIGrok 4.5推論強度: High53.8%
  21. #21MetaMuse Spark 1.1推論強度: Extra High53.3%
  22. #22OpenAIGPT-5.4推論強度: Extra High51.8%
  23. #23GoogleGemini 3.6 Flash推論強度: High46.7%
  24. #24Z.aiGLM 5.2推論強度: Max43.8%
  25. #25GoogleGemini 3.5 Flash推論強度: Medium37.4%
  26. #26Moonshot AIKimi K2.7 Code30.5%
  27. #27AnthropicClaude Sonnet 4.6推論強度: High29.9%
  28. #28GoogleGemini 3.1 Pro推論強度: High11.7%
モデルの半数が66.3%以下

「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。

  • Self-reported by each model maker — see the source link on each scoreモデル開発元が自ら発表した数値を、発表記事やシステムカードなどの原文で確認して転記した値です。測定条件は開発元ごとに異なり、点数ごとに原文へのリンクがあります。
  • Epoch AI, 'Capabilities & Benchmarking', epoch.ai/benchmarks (CC BY 4.0)AIの動向を研究するEpoch AIのベンチマークハブです。自ら実行して測った値と、元の論文・ランキングの値を集めて公開しており、点数ごとに元の出典が付いています。
  • Self-reported via Hugging Face model reposモデル開発元がHugging Faceのモデルページに自ら掲載した評価結果(承認されて反映されたもののみ)です。測定条件は開発元ごとに異なります。