MMLU-Pro
- 무엇을 측정하나요?
- Artificial Analysis 가 '레거시' 로 분류해 새 모델 측정이 드문 평가입니다(최근 모델은 표에 없을 수 있음). 대학 교양 시험을 모아 만든 MMLU 의 강화판입니다. 법률·의학·공학·역사 등 폭넓은 분야의 지식과 추론을 함께 봅니다.
- 누가 어떻게 평가하나요?
- 워털루대 등 연구진이 원래 4지선다였던 MMLU 를 10지선다로 늘리고, 너무 쉽거나 잘못된 문항을 걸러 14개 분야 약 12,000문항으로 재구성했습니다. 정답률로 채점하며 Artificial Analysis 가 직접 실행합니다.
- 점수 읽는 법
- 0~100%. 10지선다라 무작위로 찍으면 10% 입니다. 원래 MMLU 보다 16~33%p 낮게 나오도록 설계돼, 다른 곳의 MMLU 점수와 직접 비교하면 안 됩니다.
순위
최고 점수89.5%
측정한 모델28개
측정 기준높을수록 좋음
최근 갱신2026.11.21
모델 출시 시기
지식 업무·코딩·과학을 아우르는 지능 지수는?AA Intelligence Index v5
Claude Fable 5.2🥇
Claude Fable 5.2🥇AA Intelligence Index v5
Claude Fable 5.2🥇대중들이 가장 선호하는 답변을 하는 AI는?Arena Text
Gemini 4 Carbon🥇
Gemini 4 Carbon🥇Arena Text
Gemini 4 Carbon🥇미리 학습하지 않은 문제도 잘 풀 수 있을까?LiveBench 2.0
Claude Fable 5.2🥇
Claude Fable 5.2🥇LiveBench 2.0
Claude Fable 5.2🥇
여러 전문 분야의 지식을 폭넓게 갖췄을까?
MMLU-Pro
- 🥇AnthropicClaude Opus 4.589.5%
- 🥈GoogleGemini 3 Flash89.0%
- 🥉AnthropicClaude Opus 4.188.0%
- #4AnthropicClaude Sonnet 4.587.5%
- #5AnthropicClaude Opus 487.3%
- #6OpenAIGPT-587.1%
- #7DeepSeekDeepSeek V3.286.2%
- #7GoogleGemini 2.5 Pro86.2%
- #7UpstageSolar Pro 486.2%
- #10SpaceXSIGrok 4.1 Fast (Reasoning)85.4%
- #11AnthropicClaude Sonnet 484.2%
- #12LG AI ResearchK-EXAONE83.8%
- #13OpenAIGPT-5 Mini83.7%
- #14LG AI ResearchK-EXAONE 2.083.5%
- #15GoogleGemini 2.5 Flash83.2%
- #16BaiduERNIE 5.0 Thinking83.0%
- #17AmazonNova 2 Lite81.8%
- #18MetaLlama 4 Maverick80.9%
- #19GoogleGemini 2.5 Flash Lite80.8%
- #19OpenAIGPT OSS 120B80.8%
- #21OpenAIGPT-4.180.6%
- #22AnthropicClaude Haiku 4.580.0%
- #23NVIDIANemotron 3 Nano 30B A3B79.4%
- #24OpenAIGPT-5 Nano78.0%
- #25MetaLlama 4 Scout75.2%
- #26SpaceXSIGrok 4.1 Fast74.3%
- #27PerplexitySonar68.9%
- #28Mistral AIMistral Small 441.9%
모델 절반이 83.3% 이하
최근 60일 내 출시된 AI 59개 중 59개는 아직 이 지표에 반영되지 않았습니다 · Gemini 4 Neon, GPT-6.2 Astra, Microsoft-Decision-1.1 외 56개
사전에 정해진 방식으로 일괄 측정한 점수이므로, 실제 사용 환경의 결과와 다를 수 있습니다.
'제조사 발표' 표시가 있는 점수는 AI 개발사가 자체 발표한 수치로, 제3자 측정값이 아닙니다.