ALE-Bench
- 何を測定しますか?
- 唯一の正解がない最適化問題(経路・スケジュールなど)を、プログラムを改良しながらどれだけうまく解けるかを見ます。Sakana AIとAtCoderが作りました。
- 誰がどのように評価しますか?
- 過去のAtCoderヒューリスティックコンテストの問題40問を、決められた時間内にプログラムを改良しながら解きます。結果をそのコンテスト参加者の中での順位に換算して、レーティング(対戦結果で付ける点数のような数値)を付けます。
- スコアの読み方
- スコアはコンテスト成績を換算したレーティングです。高いほど良い結果です。
最高スコア2951
測定したモデル90件
測定基準高いほど良い
モデルのリリース時期
AIは長時間の開発作業を、コンピューターを直接操作しながら自律的にこなせる?Terminal-Bench 4.0
Kimi K3.1 Pro🥇
Kimi K3.1 Pro🥇Terminal-Bench 4.0
Kimi K3.1 Pro🥇コーディングの回答で、多くの人に最も好まれているAIは?Arena Coding
Gemini 4 Carbon🥇
Gemini 4 Carbon🥇Arena Coding
Gemini 4 Carbon🥇AIは自分でコードをテストして直しながら、与えられた課題を完了できる?LiveBench Agentic Coding v1
DeepSeek V4.1 Flash🥇
DeepSeek V4.1 Flash🥇LiveBench Agentic Coding v1
DeepSeek V4.1 Flash🥇
正解のない最適化問題で、よりよい答えを見つけられる?
ALE-Bench
- 🥇OpenAIGPT-6 Astra推論強度: Max2951
- 🥈OpenAIGPT-6.1 Sol推論強度: Max2744
- 🥉OpenAIGPT-6.1 Terra推論強度: Max2609
- #4AnthropicClaude Fable 5.2推論強度: High2510
- #5OpenAIGPT-6 Sol推論強度: Max2462
- #6GoogleGemini 4 Carbon推論強度: High2375
- #7OpenAIGPT-5.6 Sol推論強度: Max2177
- #8AnthropicClaude Opus 5推論強度: High2165
- #9AnthropicClaude Opus 5.5推論強度: High2147
- #10AnthropicClaude Fable 5.1推論強度: High2143
- #11GoogleGemini 4 Argon推論強度: High2100
- #12AnthropicClaude Fable 5推論強度: High2041
- #13OpenAIGPT-5.6 Terra推論強度: Max1951
- #14OpenAIGPT-5.5推論強度: Extra High1943
- #15Moonshot AIKimi K3.1 Pro推論強度: Max1933
- #16GoogleGemini 4 Hydrogen推論強度: Extra High1826
- #17AnthropicClaude Sonnet 5.5推論強度: High1819
- #18MetaMuse Spark 1.3推論強度: Extra High1688
- #19OpenAIGPT-5.6 Luna推論強度: Max1667
- #20DeepSeekDeepSeek V4.1 Flash 1017推論強度: Max1622
- #21OpenAIGPT-5.4推論強度: High1607
- #22AnthropicClaude Haiku 5.5推論強度: High1587
- #23OpenAIGPT-6 Luna推論強度: Extra High1577
- #24AnthropicClaude Opus 4.8推論強度: High1564
- #25SpaceXSIGrok 4.7推論強度: Extra High1546
- #26Moonshot AIKimi K3推論強度: Max1524
- #27SpaceXSIGrok 4.6推論強度: Extra High1508
- #28AnthropicClaude Sonnet 5推論強度: High1463
- #29DeepSeekDeepSeek V4 Pro推論強度: Max1403
- #30GoogleGemini 3 Flash1367
- #31AnthropicClaude Sonnet 4.6推論強度: Medium1327
- #32AnthropicClaude Opus 4.71323
- #33Z.aiGLM 5.3推論強度: High1317
- #34SpaceXSIGrok 4.5推論強度: High1309
- #35DeepSeekDeepSeek V4 Flash推論強度: Max1306
- #36GoogleGemini 3.8 Flash推論強度: High1270
- #37XiaomiMiMo-V2.6-Flash1244
- #38Mistral AIMistral Large 41213
- #39AlibabaQwen3.7 Max1189
- #40OpenAIGPT-5.4 Mini推論強度: High1189
- #41OpenAIGPT-5推論強度: High1162
- #42GoogleGemini 3.1 Pro1161
- #43XiaomiMiMo-V2.6-Pro1158
- #44SpaceXSIGrok 4.20 (Reasoning)1150
- #45Moonshot AIKimi K2.61093
- #46DeepSeekDeepSeek V4.1 Flash推論強度: Max1092
- #47Z.aiGLM 5.2推論強度: High1047
- #48AnthropicClaude Opus 4.5推論強度: Budget 16K1025
- #49OpenAIGPT-5.4 Nano推論強度: High1005
- #50AnthropicClaude Opus 4.6997
- #51SpaceXSIGrok 4.3944
- #52GoogleGemma 4 31B926
- #53GoogleGemini 3.5 Flash推論強度: High911
- #54GoogleGemini 3.7 Flash推論強度: High904
- #55XiaomiMiMo V2.5 Pro900
- #56Z.aiGLM-5.1887
- #57Moonshot AIKimi K2.7 Code886
- #58Moonshot AIKimi K2.5822
- #59OpenAIGPT-5 Mini推論強度: High800
- #60GoogleGemini 3.1 Flash Lite798
- #61AnthropicClaude Sonnet 4.5推論強度: Budget 32K796
- #62GoogleGemini 2.5 Pro推論強度: Budget 32K786
- #63XiaomiMiMo V2 Pro785
- #64Z.aiGLM-5766
- #65GoogleGemini 3.5 Flash-Lite推論強度: High765
- #66Mistral AIMistral Medium 3.5764
- #67OpenAIGPT-5 Nano推論強度: High719
- #68GoogleGemini 3.6 Flash推論強度: High716
- #69StepfunStep 3.7 Flash694
- #70AnthropicClaude Opus 4.1推論強度: Budget 16K675
- #71AlibabaQwen3.6 Plus670
- #72GoogleGemini 2.5 Flash662
- #73AnthropicClaude Sonnet 4推論強度: Budget 32K655
- #74AnthropicClaude Haiku 4.5推論強度: Budget 32K653
- #75MiniMaxMiniMax M3640
- #76AlibabaQwen3.5 397B A17B622
- #77MiniMaxMiniMax M2.5618
- #78AlibabaQwen3.5 Plus609
- #79MiniMaxMiniMax M2.7599
- #80OpenAIGPT OSS 120B576
- #81OpenAIGPT-4.1558
- #82XiaomiMiMo V2.5514
- #83Mistral AIMistral Small 4498
- #84InclusionAIRing-2.6-1T433
- #85SpaceXSIGrok 4.1 Fast (Reasoning)395
- #86AlibabaQwen3.6 Flash326
- #87Z.aiGLM 5.3 Flash推論強度: High304
- #88AmazonNova 2 Lite236
- #89NVIDIANemotron 3 Super214
- #90MetaLlama 4 Maverick173
モデルの半数が1093以下
「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。