DeepSWE
引用頻度 3/3
- 何を測定しますか?
- Datacurveが作った試験で、AIコーディングエージェントが新しく書かれた長く複雑なソフトウェア課題を最後まで解決する力を見ます。
- 誰がどのように評価しますか?
- 5言語、活発なオープンソースのリポジトリ91か所向けの課題113個を、インターネットなしの隔離環境で解きます。課題ごとに人が書いた検証プログラムが動作を確認し、全体を4回実行して平均します。
- スコアの読み方
- スコアは0〜100%です。高いほど良い結果です。
最高スコア77.9%
測定したモデル28件
測定基準高いほど良い
最終更新2026.09.30
モデルのリリース時期
AIは長時間の開発作業を、コンピューターを直接操作しながら自律的にこなせる?Terminal-Bench 4.0
Kimi K3.1 Pro🥇
Kimi K3.1 Pro🥇Terminal-Bench 4.0
Kimi K3.1 Pro🥇コーディングの回答で、多くの人に最も好まれているAIは?Arena Coding
Gemini 4 Carbon🥇
Gemini 4 Carbon🥇Arena Coding
Gemini 4 Carbon🥇AIは自分でコードをテストして直しながら、与えられた課題を完了できる?LiveBench Agentic Coding v1
DeepSeek V4.1 Flash🥇
DeepSeek V4.1 Flash🥇LiveBench Agentic Coding v1
DeepSeek V4.1 Flash🥇
ひとりで長い開発課題を終えられる?
DeepSWE
- 🥇GoogleGemini 4 Argon推論強度: Max77.9%
- 🥈OpenAIGPT-6 Astra推論強度: Extra High74.1%
- 🥉GoogleGemini 3.8 Flash推論強度: High73.8%
- #4MiniMaxMiniMax M3-1 Flash73.7%
- #5AnthropicClaude Opus 5推論強度: Max73.6%
- #6OpenAIGPT-5.6 Sol推論強度: Max72.7%
- #7InklingInkling 2 Small72.1%
- #8AnthropicClaude Fable 5推論強度: Extra High69.9%
- #9OpenAIGPT-5.6 Terra推論強度: Max69.6%
- #10Z.aiGLM 5.3推論強度: Max69.0%
- #11Moonshot AIKimi K3推論強度: Max68.5%
- #12SpaceXSIGrok 4.6推論強度: Medium67.5%
- #13OpenAIGPT-5.6 Luna推論強度: Max67.2%
- #14OpenAIGPT-5.5推論強度: Extra High67.0%
- #15GoogleGemini 3.7 Flash推論強度: Medium65.5%
- #16Z.aiGLM 5.3 Flash推論強度: Max63.4%
- #17AnthropicClaude Opus 4.8推論強度: Max59.0%
- #18MetaMuse Spark 1.2推論強度: Extra High54.9%
- #19AnthropicClaude Sonnet 5推論強度: Max53.8%
- #20SpaceXSIGrok 4.5推論強度: High53.8%
- #21MetaMuse Spark 1.1推論強度: Extra High53.3%
- #22OpenAIGPT-5.4推論強度: Extra High51.8%
- #23GoogleGemini 3.6 Flash推論強度: High46.7%
- #24Z.aiGLM 5.2推論強度: Max43.8%
- #25GoogleGemini 3.5 Flash推論強度: Medium37.4%
- #26Moonshot AIKimi K2.7 Code30.5%
- #27AnthropicClaude Sonnet 4.6推論強度: High29.9%
- #28GoogleGemini 3.1 Pro推論強度: High11.7%
モデルの半数が66.3%以下
「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。