ALE-Bench

무엇을 측정하나요?
정답이 하나로 정해지지 않는 최적화 문제(경로·일정 계획 등)를 프로그램을 고쳐 가며 얼마나 잘 푸는지 봅니다. Sakana AI와 AtCoder가 만들었습니다.
누가 어떻게 평가하나요?
과거 AtCoder 휴리스틱 대회의 문제 40개를 정해진 시간 동안 프로그램을 고쳐 가며 풉니다. 결과를 그 대회 참가자들 사이의 등수로 환산해 레이팅(대결 결과로 매기는 점수 같은 수치)을 매깁니다.
점수 읽는 법
점수는 대회 성적을 환산한 레이팅입니다. 높을수록 좋습니다.
최고 점수2951
측정한 모델90개
측정 기준높을수록 좋음
모델 출시 시기

정답이 없는 최적화 문제에서 더 좋은 답을 찾을까?

ALE-Bench

  1. 🥇OpenAIGPT-6 Astra추론 강도: Max2951
  2. 🥈OpenAIGPT-6.1 Sol추론 강도: Max2744
  3. 🥉OpenAIGPT-6.1 Terra추론 강도: Max2609
  4. #4AnthropicClaude Fable 5.2추론 강도: High2510
  5. #5OpenAIGPT-6 Sol추론 강도: Max2462
  6. #6GoogleGemini 4 Carbon추론 강도: High2375
  7. #7OpenAIGPT-5.6 Sol추론 강도: Max2177
  8. #8AnthropicClaude Opus 5추론 강도: High2165
  9. #9AnthropicClaude Opus 5.5추론 강도: High2147
  10. #10AnthropicClaude Fable 5.1추론 강도: High2143
  11. #11GoogleGemini 4 Argon추론 강도: High2100
  12. #12AnthropicClaude Fable 5추론 강도: High2041
  13. #13OpenAIGPT-5.6 Terra추론 강도: Max1951
  14. #14OpenAIGPT-5.5추론 강도: Extra High1943
  15. #15Moonshot AIKimi K3.1 Pro추론 강도: Max1933
  16. #16GoogleGemini 4 Hydrogen추론 강도: Extra High1826
  17. #17AnthropicClaude Sonnet 5.5추론 강도: High1819
  18. #18MetaMuse Spark 1.3추론 강도: Extra High1688
  19. #19OpenAIGPT-5.6 Luna추론 강도: Max1667
  20. #20DeepSeekDeepSeek V4.1 Flash 1017추론 강도: Max1622
  21. #21OpenAIGPT-5.4추론 강도: High1607
  22. #22AnthropicClaude Haiku 5.5추론 강도: High1587
  23. #23OpenAIGPT-6 Luna추론 강도: Extra High1577
  24. #24AnthropicClaude Opus 4.8추론 강도: High1564
  25. #25SpaceXSIGrok 4.7추론 강도: Extra High1546
  26. #26Moonshot AIKimi K3추론 강도: Max1524
  27. #27SpaceXSIGrok 4.6추론 강도: Extra High1508
  28. #28AnthropicClaude Sonnet 5추론 강도: High1463
  29. #29DeepSeekDeepSeek V4 Pro추론 강도: Max1403
  30. #30GoogleGemini 3 Flash1367
  31. #31AnthropicClaude Sonnet 4.6추론 강도: Medium1327
  32. #32AnthropicClaude Opus 4.71323
  33. #33Z.aiGLM 5.3추론 강도: High1317
  34. #34SpaceXSIGrok 4.5추론 강도: High1309
  35. #35DeepSeekDeepSeek V4 Flash추론 강도: Max1306
  36. #36GoogleGemini 3.8 Flash추론 강도: High1270
  37. #37XiaomiMiMo-V2.6-Flash1244
  38. #38Mistral AIMistral Large 41213
  39. #39AlibabaQwen3.7 Max1189
  40. #40OpenAIGPT-5.4 Mini추론 강도: High1189
  41. #41OpenAIGPT-5추론 강도: High1162
  42. #42GoogleGemini 3.1 Pro1161
  43. #43XiaomiMiMo-V2.6-Pro1158
  44. #44SpaceXSIGrok 4.20 (Reasoning)1150
  45. #45Moonshot AIKimi K2.61093
  46. #46DeepSeekDeepSeek V4.1 Flash추론 강도: Max1092
  47. #47Z.aiGLM 5.2추론 강도: High1047
  48. #48AnthropicClaude Opus 4.5추론 강도: Budget 16K1025
  49. #49OpenAIGPT-5.4 Nano추론 강도: High1005
  50. #50AnthropicClaude Opus 4.6997
  51. #51SpaceXSIGrok 4.3944
  52. #52GoogleGemma 4 31B926
  53. #53GoogleGemini 3.5 Flash추론 강도: High911
  54. #54GoogleGemini 3.7 Flash추론 강도: High904
  55. #55XiaomiMiMo V2.5 Pro900
  56. #56Z.aiGLM-5.1887
  57. #57Moonshot AIKimi K2.7 Code886
  58. #58Moonshot AIKimi K2.5822
  59. #59OpenAIGPT-5 Mini추론 강도: High800
  60. #60GoogleGemini 3.1 Flash Lite798
  61. #61AnthropicClaude Sonnet 4.5추론 강도: Budget 32K796
  62. #62GoogleGemini 2.5 Pro추론 강도: Budget 32K786
  63. #63XiaomiMiMo V2 Pro785
  64. #64Z.aiGLM-5766
  65. #65GoogleGemini 3.5 Flash-Lite추론 강도: High765
  66. #66Mistral AIMistral Medium 3.5764
  67. #67OpenAIGPT-5 Nano추론 강도: High719
  68. #68GoogleGemini 3.6 Flash추론 강도: High716
  69. #69StepfunStep 3.7 Flash694
  70. #70AnthropicClaude Opus 4.1추론 강도: Budget 16K675
  71. #71AlibabaQwen3.6 Plus670
  72. #72GoogleGemini 2.5 Flash662
  73. #73AnthropicClaude Sonnet 4추론 강도: Budget 32K655
  74. #74AnthropicClaude Haiku 4.5추론 강도: Budget 32K653
  75. #75MiniMaxMiniMax M3640
  76. #76AlibabaQwen3.5 397B A17B622
  77. #77MiniMaxMiniMax M2.5618
  78. #78AlibabaQwen3.5 Plus609
  79. #79MiniMaxMiniMax M2.7599
  80. #80OpenAIGPT OSS 120B576
  81. #81OpenAIGPT-4.1558
  82. #82XiaomiMiMo V2.5514
  83. #83Mistral AIMistral Small 4498
  84. #84InclusionAIRing-2.6-1T433
  85. #85SpaceXSIGrok 4.1 Fast (Reasoning)395
  86. #86AlibabaQwen3.6 Flash326
  87. #87Z.aiGLM 5.3 Flash추론 강도: High304
  88. #88AmazonNova 2 Lite236
  89. #89NVIDIANemotron 3 Super214
  90. #90MetaLlama 4 Maverick173
모델 절반이 1093 이하

"작업 도구"는 AI가 과제를 풀 때 함께 쓴 실행 환경(에이전트 프로그램)입니다. 같은 모델이라도 작업 도구와 추론 강도에 따라 점수가 크게 달라질 수 있습니다.

카톡 문의