ALE-Bench

何を測定しますか?
唯一の正解がない最適化問題(経路・スケジュールなど)を、プログラムを改良しながらどれだけうまく解けるかを見ます。Sakana AIとAtCoderが作りました。
誰がどのように評価しますか?
過去のAtCoderヒューリスティックコンテストの問題40問を、決められた時間内にプログラムを改良しながら解きます。結果をそのコンテスト参加者の中での順位に換算して、レーティング(対戦結果で付ける点数のような数値)を付けます。
スコアの読み方
スコアはコンテスト成績を換算したレーティングです。高いほど良い結果です。
最高スコア2951
測定したモデル90件
測定基準高いほど良い
モデルのリリース時期

正解のない最適化問題で、よりよい答えを見つけられる?

ALE-Bench

  1. 🥇OpenAIGPT-6 Astra推論強度: Max2951
  2. 🥈OpenAIGPT-6.1 Sol推論強度: Max2744
  3. 🥉OpenAIGPT-6.1 Terra推論強度: Max2609
  4. #4AnthropicClaude Fable 5.2推論強度: High2510
  5. #5OpenAIGPT-6 Sol推論強度: Max2462
  6. #6GoogleGemini 4 Carbon推論強度: High2375
  7. #7OpenAIGPT-5.6 Sol推論強度: Max2177
  8. #8AnthropicClaude Opus 5推論強度: High2165
  9. #9AnthropicClaude Opus 5.5推論強度: High2147
  10. #10AnthropicClaude Fable 5.1推論強度: High2143
  11. #11GoogleGemini 4 Argon推論強度: High2100
  12. #12AnthropicClaude Fable 5推論強度: High2041
  13. #13OpenAIGPT-5.6 Terra推論強度: Max1951
  14. #14OpenAIGPT-5.5推論強度: Extra High1943
  15. #15Moonshot AIKimi K3.1 Pro推論強度: Max1933
  16. #16GoogleGemini 4 Hydrogen推論強度: Extra High1826
  17. #17AnthropicClaude Sonnet 5.5推論強度: High1819
  18. #18MetaMuse Spark 1.3推論強度: Extra High1688
  19. #19OpenAIGPT-5.6 Luna推論強度: Max1667
  20. #20DeepSeekDeepSeek V4.1 Flash 1017推論強度: Max1622
  21. #21OpenAIGPT-5.4推論強度: High1607
  22. #22AnthropicClaude Haiku 5.5推論強度: High1587
  23. #23OpenAIGPT-6 Luna推論強度: Extra High1577
  24. #24AnthropicClaude Opus 4.8推論強度: High1564
  25. #25SpaceXSIGrok 4.7推論強度: Extra High1546
  26. #26Moonshot AIKimi K3推論強度: Max1524
  27. #27SpaceXSIGrok 4.6推論強度: Extra High1508
  28. #28AnthropicClaude Sonnet 5推論強度: High1463
  29. #29DeepSeekDeepSeek V4 Pro推論強度: Max1403
  30. #30GoogleGemini 3 Flash1367
  31. #31AnthropicClaude Sonnet 4.6推論強度: Medium1327
  32. #32AnthropicClaude Opus 4.71323
  33. #33Z.aiGLM 5.3推論強度: High1317
  34. #34SpaceXSIGrok 4.5推論強度: High1309
  35. #35DeepSeekDeepSeek V4 Flash推論強度: Max1306
  36. #36GoogleGemini 3.8 Flash推論強度: High1270
  37. #37XiaomiMiMo-V2.6-Flash1244
  38. #38Mistral AIMistral Large 41213
  39. #39AlibabaQwen3.7 Max1189
  40. #40OpenAIGPT-5.4 Mini推論強度: High1189
  41. #41OpenAIGPT-5推論強度: High1162
  42. #42GoogleGemini 3.1 Pro1161
  43. #43XiaomiMiMo-V2.6-Pro1158
  44. #44SpaceXSIGrok 4.20 (Reasoning)1150
  45. #45Moonshot AIKimi K2.61093
  46. #46DeepSeekDeepSeek V4.1 Flash推論強度: Max1092
  47. #47Z.aiGLM 5.2推論強度: High1047
  48. #48AnthropicClaude Opus 4.5推論強度: Budget 16K1025
  49. #49OpenAIGPT-5.4 Nano推論強度: High1005
  50. #50AnthropicClaude Opus 4.6997
  51. #51SpaceXSIGrok 4.3944
  52. #52GoogleGemma 4 31B926
  53. #53GoogleGemini 3.5 Flash推論強度: High911
  54. #54GoogleGemini 3.7 Flash推論強度: High904
  55. #55XiaomiMiMo V2.5 Pro900
  56. #56Z.aiGLM-5.1887
  57. #57Moonshot AIKimi K2.7 Code886
  58. #58Moonshot AIKimi K2.5822
  59. #59OpenAIGPT-5 Mini推論強度: High800
  60. #60GoogleGemini 3.1 Flash Lite798
  61. #61AnthropicClaude Sonnet 4.5推論強度: Budget 32K796
  62. #62GoogleGemini 2.5 Pro推論強度: Budget 32K786
  63. #63XiaomiMiMo V2 Pro785
  64. #64Z.aiGLM-5766
  65. #65GoogleGemini 3.5 Flash-Lite推論強度: High765
  66. #66Mistral AIMistral Medium 3.5764
  67. #67OpenAIGPT-5 Nano推論強度: High719
  68. #68GoogleGemini 3.6 Flash推論強度: High716
  69. #69StepfunStep 3.7 Flash694
  70. #70AnthropicClaude Opus 4.1推論強度: Budget 16K675
  71. #71AlibabaQwen3.6 Plus670
  72. #72GoogleGemini 2.5 Flash662
  73. #73AnthropicClaude Sonnet 4推論強度: Budget 32K655
  74. #74AnthropicClaude Haiku 4.5推論強度: Budget 32K653
  75. #75MiniMaxMiniMax M3640
  76. #76AlibabaQwen3.5 397B A17B622
  77. #77MiniMaxMiniMax M2.5618
  78. #78AlibabaQwen3.5 Plus609
  79. #79MiniMaxMiniMax M2.7599
  80. #80OpenAIGPT OSS 120B576
  81. #81OpenAIGPT-4.1558
  82. #82XiaomiMiMo V2.5514
  83. #83Mistral AIMistral Small 4498
  84. #84InclusionAIRing-2.6-1T433
  85. #85SpaceXSIGrok 4.1 Fast (Reasoning)395
  86. #86AlibabaQwen3.6 Flash326
  87. #87Z.aiGLM 5.3 Flash推論強度: High304
  88. #88AmazonNova 2 Lite236
  89. #89NVIDIANemotron 3 Super214
  90. #90MetaLlama 4 Maverick173
モデルの半数が1093以下

「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。