ALE-Bench
- 무엇을 측정하나요?
- 정답이 하나로 정해지지 않는 최적화 문제(경로·일정 계획 등)를 프로그램을 고쳐 가며 얼마나 잘 푸는지 봅니다. Sakana AI와 AtCoder가 만들었습니다.
- 누가 어떻게 평가하나요?
- 과거 AtCoder 휴리스틱 대회의 문제 40개를 정해진 시간 동안 프로그램을 고쳐 가며 풉니다. 결과를 그 대회 참가자들 사이의 등수로 환산해 레이팅(대결 결과로 매기는 점수 같은 수치)을 매깁니다.
- 점수 읽는 법
- 점수는 대회 성적을 환산한 레이팅입니다. 높을수록 좋습니다.
최고 점수2951
측정한 모델90개
측정 기준높을수록 좋음
모델 출시 시기
장시간의 개발 작업을 AI가 컴퓨터를 직접 조작하며 자율적으로 수행할 수 있을까?Terminal-Bench 4.0
Kimi K3.1 Pro🥇
Kimi K3.1 Pro🥇Terminal-Bench 4.0
Kimi K3.1 Pro🥇코딩에 관한 답변 중에서 대중들이 가장 선호하는 AI는?Arena Coding
Gemini 4 Carbon🥇
Gemini 4 Carbon🥇Arena Coding
Gemini 4 Carbon🥇AI가 직접 코드를 테스트하고 수정하면서 주어진 과제를 완료할 수 있을까?LiveBench Agentic Coding v1
DeepSeek V4.1 Flash🥇
DeepSeek V4.1 Flash🥇LiveBench Agentic Coding v1
DeepSeek V4.1 Flash🥇
정답이 없는 최적화 문제에서 더 좋은 답을 찾을까?
ALE-Bench
- 🥇OpenAIGPT-6 Astra추론 강도: Max2951
- 🥈OpenAIGPT-6.1 Sol추론 강도: Max2744
- 🥉OpenAIGPT-6.1 Terra추론 강도: Max2609
- #4AnthropicClaude Fable 5.2추론 강도: High2510
- #5OpenAIGPT-6 Sol추론 강도: Max2462
- #6GoogleGemini 4 Carbon추론 강도: High2375
- #7OpenAIGPT-5.6 Sol추론 강도: Max2177
- #8AnthropicClaude Opus 5추론 강도: High2165
- #9AnthropicClaude Opus 5.5추론 강도: High2147
- #10AnthropicClaude Fable 5.1추론 강도: High2143
- #11GoogleGemini 4 Argon추론 강도: High2100
- #12AnthropicClaude Fable 5추론 강도: High2041
- #13OpenAIGPT-5.6 Terra추론 강도: Max1951
- #14OpenAIGPT-5.5추론 강도: Extra High1943
- #15Moonshot AIKimi K3.1 Pro추론 강도: Max1933
- #16GoogleGemini 4 Hydrogen추론 강도: Extra High1826
- #17AnthropicClaude Sonnet 5.5추론 강도: High1819
- #18MetaMuse Spark 1.3추론 강도: Extra High1688
- #19OpenAIGPT-5.6 Luna추론 강도: Max1667
- #20DeepSeekDeepSeek V4.1 Flash 1017추론 강도: Max1622
- #21OpenAIGPT-5.4추론 강도: High1607
- #22AnthropicClaude Haiku 5.5추론 강도: High1587
- #23OpenAIGPT-6 Luna추론 강도: Extra High1577
- #24AnthropicClaude Opus 4.8추론 강도: High1564
- #25SpaceXSIGrok 4.7추론 강도: Extra High1546
- #26Moonshot AIKimi K3추론 강도: Max1524
- #27SpaceXSIGrok 4.6추론 강도: Extra High1508
- #28AnthropicClaude Sonnet 5추론 강도: High1463
- #29DeepSeekDeepSeek V4 Pro추론 강도: Max1403
- #30GoogleGemini 3 Flash1367
- #31AnthropicClaude Sonnet 4.6추론 강도: Medium1327
- #32AnthropicClaude Opus 4.71323
- #33Z.aiGLM 5.3추론 강도: High1317
- #34SpaceXSIGrok 4.5추론 강도: High1309
- #35DeepSeekDeepSeek V4 Flash추론 강도: Max1306
- #36GoogleGemini 3.8 Flash추론 강도: High1270
- #37XiaomiMiMo-V2.6-Flash1244
- #38Mistral AIMistral Large 41213
- #39AlibabaQwen3.7 Max1189
- #40OpenAIGPT-5.4 Mini추론 강도: High1189
- #41OpenAIGPT-5추론 강도: High1162
- #42GoogleGemini 3.1 Pro1161
- #43XiaomiMiMo-V2.6-Pro1158
- #44SpaceXSIGrok 4.20 (Reasoning)1150
- #45Moonshot AIKimi K2.61093
- #46DeepSeekDeepSeek V4.1 Flash추론 강도: Max1092
- #47Z.aiGLM 5.2추론 강도: High1047
- #48AnthropicClaude Opus 4.5추론 강도: Budget 16K1025
- #49OpenAIGPT-5.4 Nano추론 강도: High1005
- #50AnthropicClaude Opus 4.6997
- #51SpaceXSIGrok 4.3944
- #52GoogleGemma 4 31B926
- #53GoogleGemini 3.5 Flash추론 강도: High911
- #54GoogleGemini 3.7 Flash추론 강도: High904
- #55XiaomiMiMo V2.5 Pro900
- #56Z.aiGLM-5.1887
- #57Moonshot AIKimi K2.7 Code886
- #58Moonshot AIKimi K2.5822
- #59OpenAIGPT-5 Mini추론 강도: High800
- #60GoogleGemini 3.1 Flash Lite798
- #61AnthropicClaude Sonnet 4.5추론 강도: Budget 32K796
- #62GoogleGemini 2.5 Pro추론 강도: Budget 32K786
- #63XiaomiMiMo V2 Pro785
- #64Z.aiGLM-5766
- #65GoogleGemini 3.5 Flash-Lite추론 강도: High765
- #66Mistral AIMistral Medium 3.5764
- #67OpenAIGPT-5 Nano추론 강도: High719
- #68GoogleGemini 3.6 Flash추론 강도: High716
- #69StepfunStep 3.7 Flash694
- #70AnthropicClaude Opus 4.1추론 강도: Budget 16K675
- #71AlibabaQwen3.6 Plus670
- #72GoogleGemini 2.5 Flash662
- #73AnthropicClaude Sonnet 4추론 강도: Budget 32K655
- #74AnthropicClaude Haiku 4.5추론 강도: Budget 32K653
- #75MiniMaxMiniMax M3640
- #76AlibabaQwen3.5 397B A17B622
- #77MiniMaxMiniMax M2.5618
- #78AlibabaQwen3.5 Plus609
- #79MiniMaxMiniMax M2.7599
- #80OpenAIGPT OSS 120B576
- #81OpenAIGPT-4.1558
- #82XiaomiMiMo V2.5514
- #83Mistral AIMistral Small 4498
- #84InclusionAIRing-2.6-1T433
- #85SpaceXSIGrok 4.1 Fast (Reasoning)395
- #86AlibabaQwen3.6 Flash326
- #87Z.aiGLM 5.3 Flash추론 강도: High304
- #88AmazonNova 2 Lite236
- #89NVIDIANemotron 3 Super214
- #90MetaLlama 4 Maverick173
모델 절반이 1093 이하
"작업 도구"는 AI가 과제를 풀 때 함께 쓴 실행 환경(에이전트 프로그램)입니다. 같은 모델이라도 작업 도구와 추론 강도에 따라 점수가 크게 달라질 수 있습니다.