MMLU-Pro

무엇을 측정하나요?
Artificial Analysis 가 '레거시' 로 분류해 새 모델 측정이 드문 평가입니다(최근 모델은 표에 없을 수 있음). 대학 교양 시험을 모아 만든 MMLU 의 강화판입니다. 법률·의학·공학·역사 등 폭넓은 분야의 지식과 추론을 함께 봅니다.
누가 어떻게 평가하나요?
워털루대 등 연구진이 원래 4지선다였던 MMLU 를 10지선다로 늘리고, 너무 쉽거나 잘못된 문항을 걸러 14개 분야 약 12,000문항으로 재구성했습니다. 정답률로 채점하며 Artificial Analysis 가 직접 실행합니다.
점수 읽는 법
0~100%. 10지선다라 무작위로 찍으면 10% 입니다. 원래 MMLU 보다 16~33%p 낮게 나오도록 설계돼, 다른 곳의 MMLU 점수와 직접 비교하면 안 됩니다.

순위

최고 점수89.5%
측정한 모델28개
측정 기준높을수록 좋음
최근 갱신2026.11.21
모델 출시 시기

여러 전문 분야의 지식을 폭넓게 갖췄을까?

MMLU-Pro

  1. 🥇AnthropicClaude Opus 4.589.5%
  2. 🥈GoogleGemini 3 Flash89.0%
  3. 🥉AnthropicClaude Opus 4.188.0%
  4. #4AnthropicClaude Sonnet 4.587.5%
  5. #5AnthropicClaude Opus 487.3%
  6. #6OpenAIGPT-587.1%
  7. #7DeepSeekDeepSeek V3.286.2%
  8. #7GoogleGemini 2.5 Pro86.2%
  9. #7UpstageSolar Pro 486.2%
  10. #10SpaceXSIGrok 4.1 Fast (Reasoning)85.4%
  11. #11AnthropicClaude Sonnet 484.2%
  12. #12LG AI ResearchK-EXAONE83.8%
  13. #13OpenAIGPT-5 Mini83.7%
  14. #14LG AI ResearchK-EXAONE 2.083.5%
  15. #15GoogleGemini 2.5 Flash83.2%
  16. #16BaiduERNIE 5.0 Thinking83.0%
  17. #17AmazonNova 2 Lite81.8%
  18. #18MetaLlama 4 Maverick80.9%
  19. #19GoogleGemini 2.5 Flash Lite80.8%
  20. #19OpenAIGPT OSS 120B80.8%
  21. #21OpenAIGPT-4.180.6%
  22. #22AnthropicClaude Haiku 4.580.0%
  23. #23NVIDIANemotron 3 Nano 30B A3B79.4%
  24. #24OpenAIGPT-5 Nano78.0%
  25. #25MetaLlama 4 Scout75.2%
  26. #26SpaceXSIGrok 4.1 Fast74.3%
  27. #27PerplexitySonar68.9%
  28. #28Mistral AIMistral Small 441.9%
모델 절반이 83.3% 이하

최근 60일 내 출시된 AI 59개 중 59개는 아직 이 지표에 반영되지 않았습니다 · Gemini 4 Neon, GPT-6.2 Astra, Microsoft-Decision-1.1 외 56개

사전에 정해진 방식으로 일괄 측정한 점수이므로, 실제 사용 환경의 결과와 다를 수 있습니다.

'제조사 발표' 표시가 있는 점수는 AI 개발사가 자체 발표한 수치로, 제3자 측정값이 아닙니다.

관련 뉴스

카톡 문의