LiveBench 2.0 Coding

高いほど良い
何を測定しますか?
実際の大規模コードベースのバグを直せるかを見ます。
誰がどのように評価しますか?
実際にマージされた修正(PR)が直したバグを選び、固定時点のリポジトリとバグ報告を渡して直させます(2026年10月25日リリースで29件)。隠したテストで確認し、既存の動作を壊すと0点です。
スコアの読み方
スコアは出典の発表値そのままです。高いほど良い結果です。
最高スコア89.7 / 100Claude Fable 5.1
測定したモデル22件
最終更新2026.11.06
モデルのリリース時期(右が最新)
その時点の最高記録上ほど良い
  1. 🥇AnthropicClaude Fable 5.1推論強度: Max89.7 / 100
  2. 🥈OpenAIGPT-6.1 Terra推論強度: Max89.2 / 100
  3. 🥉OpenAIGPT-6 Astra推論強度: Max87.5 / 100
  4. #4AnthropicClaude Opus 5.5推論強度: Max87.1 / 100
  5. #5GoogleGemini 4 Argon推論強度: High85.7 / 100
  6. #6OpenAIGPT-5.6 Terra推論強度: Max84.2 / 100
  7. #7MetaMuse Spark 1.3推論強度: Max83.1 / 100
  8. #8OpenAIGPT-6.1 Sol推論強度: Max82.1 / 100
  9. #9DeepSeekDeepSeek V4.1 Flash 1017推論強度: Max80.4 / 100
  10. #10AnthropicClaude Fable 5.2推論強度: Extra High79.2 / 100
  11. #11AnthropicClaude Haiku 5.5推論強度: Max77.6 / 100
  12. #12AnthropicClaude Sonnet 5.5推論強度: Max77.2 / 100
  13. #13SpaceXSIGrok 4.6推論強度: Extra High76.7 / 100
  14. #14SpaceXSIGrok 4.7推論強度: Extra High73.1 / 100
  15. #15Z.aiGLM 5.3 Flash推論強度: Max70.9 / 100
  16. #16OpenAIGPT-6 Luna推論強度: Max70.8 / 100
  17. #17Moonshot AIKimi K3.1 Pro推論強度: Max67.8 / 100
  18. #18GoogleGemini 3.8 Flash推論強度: High65.7 / 100
  19. #19XiaomiMiMo-V2.6-Pro推論強度: High64.5 / 100
  20. #20Moonshot AIKimi K3推論強度: Max53.1 / 100
  21. #21Mistral AIMistral Large 4推論強度: High44.4 / 100
  22. #22GoogleGemma 4 31B推論強度: Max20.3 / 100
モデルの半数が77.4 / 100以下最終更新 2026-11-11

「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。

スコアの出どころ

  • 試験の運営チームによる測定:試験を運営するチームが自ら実行して公開したスコアです。