LiveBench Agentic Coding v1

何を測定しますか?
実際のオープンソースリポジトリの issue をAIが一人で修正できるかです。一度で答えを出すのではなく、ファイルを読み、修正し、テストを回す複数の段階を自ら進める必要があります。
誰がどのように評価しますか?
Abacus.AI・ニューヨーク大学などの研究陣が作った LiveBench は、最近の大会問題・論文・ニュースから毎月新しい問題を出し、AIが学習中に問題を見た可能性(汚染)を減らします。答えが定まった問題だけを出してプログラムが自動採点し、別のAIは採点しません。この表は livebench.ai が公開した最新の月次結果表を取得しますが、最新の表にないAIは最後に掲載されたスコアを順位を付けずに表の下に別に表示します。 2025年5月に新設された科目で、Python・JavaScript・TypeScript リポジトリの実際の issue を使います。AIが最大250ステップまで作業した後、テスト通過の可否で採点します(2025年10月改定基準)。
スコアの読み方
0〜100点です。問題が難しく設計されており最上位AIでも70点を超えるのは難しく、毎月問題が変わるため時点の異なる点数の直接比較は避けてください。 新設科目のため測定されたAIが少なく、実行方式が変わると点数が再計算されます。

順位

最高スコア77.3
測定したモデル52件
測定基準高いほど良い
最終更新2026.06.25
モデルのリリース時期

AIは自分でコードをテストして直しながら、与えられた課題を完了できる?

LiveBench Agentic Coding v1

  1. 🥇DeepSeekDeepSeek V4.1 Flash26.8%152577.3
  2. 🥈AnthropicClaude Fable 5.155.1%153366.1
  3. 🥉AnthropicClaude Opus 5.559.6%154865.3
  4. #4AnthropicClaude Opus 549.0%152865.2
  5. #5MetaMuse Spark 1.333.3%153564.1
  6. #6AnthropicClaude Fable 542.4%155162.2
  7. #6Moonshot AIKimi K312.6%153762.2
  8. #8AlibabaQwen3.8 Flash25.3%—61.6
  9. #9Z.aiGLM 5.341.9%152460.9
  10. #10AnthropicClaude Sonnet 514.1%151959.4
  11. #11MetaMuse Spark 1.16.1%153358.5
  12. #12GoogleGemini 3.7 Flash13.6%152158.3
  13. #13MetaMuse Spark 1.27.1%154057.6
  14. #14OpenAIGPT-6 Astra59.6%154857.3
  15. #15Mistral AIMistral Large 426.8%148657.2
  16. #16SpaceXSIGrok 4.621.2%150857.0
  17. #17OpenAIGPT-6.1 Sol56.1%154556.8
  18. #17Z.aiGLM 5.3 Flash32.8%152656.8
  19. #19SpaceXSIGrok 4.510.6%151456.5
  20. #20OpenAIGPT-5.6 Sol39.9%153356.2
  21. #21OpenAIGPT-5.6 Terra35.4%151855.0
  22. #22GoogleGemini 3.8 Flash19.7%153054.2
  23. #23SpaceXSIGrok 4.725.8%149154.0
  24. #23OpenAIGPT-5.514.6%151054.0
  25. #25OpenAIGPT-5.4—152153.8
  26. #26OpenAIGPT-6 Sol43.9%151952.9
  27. #27Z.aiGLM 5.21.0%151651.8
  28. #28AnthropicClaude Haiku 5.532.8%148751.4
  29. #29OpenAIGPT-6 Luna12.6%150451.2
  30. #30AnthropicClaude Opus 4.7—154650.7
  31. #31AnthropicClaude Opus 4.821.7%152850.5
  32. #32GoogleGemini 3.5 Flash6.6%150649.0
  33. #32AnthropicClaude Opus 4.6—154749.0
  34. #34OpenAIGPT-5.6 Luna11.6%150348.4
  35. #35Moonshot AIKimi K2.60.5%151646.9
  36. #36OpenAIGPT-5.4 Nano0.5%146046.8
  37. #37SpaceXSIGrok Build 0.1——45.8
  38. #38Moonshot AIKimi K2.7 Code1.0%—45.7
  39. #39GoogleGemini 3.5 Flash-Lite1.0%150245.3
  40. #40GoogleGemini 3.1 Pro4.0%152144.1
  41. #41AlibabaQwen3.7 Max1.5%152443.6
  42. #42GoogleGemini 3.6 Flash7.1%151843.4
  43. #43DeepSeekDeepSeek V4 Pro14.1%150142.6
  44. #43AnthropicClaude Sonnet 4.63.0%152842.6
  45. #45OpenAIGPT-5.4 Mini2.0%149541.7
  46. #46AlibabaQwen3.6 Plus—149641.4
  47. #47MiniMaxMiniMax M32.0%149240.7
  48. #48AnthropicClaude Opus 4.5—152339.7
  49. #49AnthropicClaude Sonnet 5.563.6%151739.3
  50. #50NVIDIANemotron 3 Ultra0.5%147438.7
  51. #51DeepSeekDeepSeek V4 Flash12.1%148437.6
  52. #52SpaceXSIGrok 4.30.0%148718.5
1位が2位より11点リード · モデルの半数が52.3以下

以前の版のスコア

最新ランキング(2026.06.25)に反映されていないスコアです。出典から外れたか、まだ更新されていないモデルで、最後に取得したスコアを参考として表示し、順位は付けません。

  1. Z.ai2026.02.11
    55.0
  2. Z.ai2026.04.07
    55.0
  3. OpenAI2025.08.07
    51.7
  4. MiniMax2026.02.12
    51.7
  5. MiniMax2026.03.18
    50.0
  6. Anthropic2025.08.05
    48.3
  7. Anthropic2025.09.29
    48.3
  8. Moonshot AI2026.01.27
    48.3
  9. DeepSeek2025.12.01
    46.7
  10. Alibaba2026.04.27
    46.7
  11. Google2025.12.17
    43.3
  12. SpaceXSI2026.03.31
    43.3
  13. Anthropic2025.05.22
    40.0
  14. Google2026.04.02
    40.0
  15. SpaceXSI2026.03.09
    38.3
  16. OpenAI2025.08.07
    35.0
  17. Anthropic2025.10.15
    33.3
  18. Google2025.06.17
    33.3
  19. Google2026.03.03
    33.3
  20. SpaceXSI2025.09.15
    31.7
  21. Xiaomi2026.03.18
    30.0
  22. OpenAI2025.08.07
    28.3
  23. NVIDIA2026.03.11
    23.0
  24. Google2025.06.17
    16.7
  25. OpenAI2025.08.05
    16.7
  26. SpaceXSI2025.11.19
    10.0
  27. Google2025.09.25
    5.0
  28. Z.ai2026.04.01
    3.3
  29. Arcee AI2026.04.01
    3.3

直近60日にリリースされたAI 64個のうち57個はまだこの試験のスコアがありません · Gemini 4 Neon, GPT-6.2 Astra, Microsoft-Decision-1.1 ほか54個

あらかじめ決められた方法で一括測定したスコアなので、自分の質問での結果とは異なる場合があります。

「開発元発表」と表示されたスコアは、AI開発元が自ら発表した数値で、第三者の測定ではありません。