SimpleQA Verified

인용 빈도 2/3
무엇을 측정하나요?
도구 없이 기억만으로 짧은 사실 질문에 정확히 답하는지 봅니다. OpenAI의 SimpleQA를 다듬은 판입니다.
누가 어떻게 평가하나요?
1,000문항입니다. SimpleQA(4,326문항)에서 중복을 빼고 주제를 고르게 맞추고 잘못된 정답 표기를 고쳤습니다. 여기 값은 Epoch AI가 잰 정답률입니다.
점수 읽는 법
점수는 0~100%입니다. 높을수록 좋습니다.
최고 점수94.0%
측정한 모델69개
측정 기준높을수록 좋음
최근 갱신2026.11.19
모델 출시 시기

검색 없이도 사실을 정확하게 알고 있을까?

SimpleQA Verified

  1. 🥇AnthropicClaude Fable 5.2추론 강도: Max148394.0%—
  2. 🥈OpenAIGPT-6.2 Astra추론 강도: Max143978.5%—
  3. 🥉GoogleGemini 4 Carbon추론 강도: High152277.7%—
  4. #4GoogleGemini 4 Argon추론 강도: High149276.0%12.1%
  5. #5OpenAIGPT-6 Astra추론 강도: Max146875.6%8.7%
  6. #6GoogleGemini 4 Neon추론 강도: Extra High150975.2%—
  7. #7OpenAIGPT-6.1 Sol추론 강도: Max147073.9%—
  8. #8GoogleGemini 3.1 Pro추론 강도: High147273.5%10.4%
  9. #9AnthropicClaude Opus 5.5추론 강도: Max150572.2%9.9%
  10. #10GoogleGemini 4 Hydrogen추론 강도: Extra High149470.9%—
  11. #11AnthropicClaude Fable 5.1추론 강도: Max149970.8%—
  12. #12AnthropicClaude Fable 5추론 강도: Extra High148370.7%—
  13. #13OpenAIGPT-5.6 Sol추론 강도: Max147669.7%12.4%
  14. #13GoogleGemini 3.8 Flash추론 강도: High146969.7%—
  15. #15GoogleGemini 3.7 Flash추론 강도: High147669.2%—
  16. #16GoogleGemini 3 Flash추론 강도: High146866.8%13.5%
  17. #17GoogleGemini 3.5 Flash추론 강도: High147866.2%—
  18. #17GoogleGemini 3.6 Flash추론 강도: High147266.2%—
  19. #19OpenAIGPT-5.5추론 강도: Extra High148563.0%9.3%
  20. #20Moonshot AIKimi K3.1 Pro추론 강도: Max147962.2%—
  21. #21OpenAIGPT-6 Sol추론 강도: Max144260.7%6.5%
  22. #22MetaMuse Spark 1.2추론 강도: Extra High147960.3%—
  23. #23AnthropicClaude Opus 5추론 강도: Max148859.9%—
  24. #24MetaMuse Spark 1.1146457.8%—
  25. #25OpenAIGPT-6.1 Terra추론 강도: Max145557.3%—
  26. #26SpaceXSIGrok 4.7추론 강도: Extra High143956.0%—
  27. #27AlibabaQwen3.7 Max148055.8%—
  28. #28AnthropicClaude Opus 4.8추론 강도: Max147053.0%—
  29. #29DeepSeekDeepSeek V4 Pro추론 강도: Max145552.9%8.6%
  30. #30AlibabaQwen3.6 Max145252.0%—
  31. #31AnthropicClaude Opus 4.7추론 강도: Extra High147851.7%12.0%
  32. #32Moonshot AIKimi K3추론 강도: Max147150.6%—
  33. #33OpenAIGPT-5추론 강도: High142150.1%—
  34. #34SpaceXSIGrok 4.6추론 강도: High145149.3%—
  35. #35SpaceXSIGrok 4.5추론 강도: High146548.3%—
  36. #36AnthropicClaude Opus 4.6추론 강도: Max149347.0%12.2%
  37. #37AnthropicClaude Sonnet 5.5추론 강도: Max147346.5%—
  38. #38OpenAIGPT-5.4 Pro추론 강도: Extra High—46.3%8.3%
  39. #39AnthropicClaude Opus 4.5추론 강도: Budget 32K145945.7%10.9%
  40. #40OpenAIGPT-5.4추론 강도: Extra High148445.1%7.0%
  41. #41AlibabaQwen3.6 Plus143844.1%—
  42. #42OpenAIGPT-5.6 Terra추론 강도: Max146943.2%—
  43. #43DeepSeekDeepSeek V4.1 Flash추론 강도: Max146842.9%4.2%
  44. #44DeepSeekDeepSeek V4.1 Flash 1017추론 강도: Max—42.5%—
  45. #45OpenAIGPT-6 Luna추론 강도: Max146641.4%—
  46. #46Z.aiGLM 5.3추론 강도: Max146941.0%—
  47. #46OpenAIGPT-5.6 Luna추론 강도: Max146041.0%—
  48. #48Moonshot AIKimi K2.7 Code—36.5%—
  49. #49AnthropicClaude Sonnet 4.6추론 강도: High146135.5%10.6%
  50. #50Moonshot AIKimi K2.6145634.9%—
  51. #51Moonshot AIKimi K2.5144534.3%—
  52. #52Z.aiGLM 5.2추론 강도: Max146334.2%—
  53. #53Z.aiGLM-5.1145634.0%—
  54. #54AnthropicClaude Sonnet 5추론 강도: Max145133.7%—
  55. #55DeepSeekDeepSeek V4 Flash추론 강도: Max143933.6%—
  56. #56SpaceXSIGrok 4.3추론 강도: High142633.2%—
  57. #57OpenAIGPT-4.1140831.1%5.6%
  58. #58AnthropicClaude Sonnet 4.5추론 강도: Budget 59K144930.7%12.0%
  59. #59SpaceXSIGrok 4.20 (Reasoning)145630.2%—
  60. #60OpenAIGPT-5.4 Mini추론 강도: High144629.4%5.5%
  61. #61AlibabaQwen3.5 Plus—25.4%10.7%
  62. #62AnthropicClaude Haiku 5.5추론 강도: Max142423.8%—
  63. #63Mistral AIMistral Large 4추론 강도: High142122.4%—
  64. #64OpenAIGPT-5 Mini추론 강도: High139421.6%12.9%
  65. #65AlibabaQwen3.6 Flash—15.9%—
  66. #66AnthropicClaude Haiku 4.5141813.2%9.8%
  67. #67OpenAIGPT-5.4 Nano추론 강도: High141611.7%3.1%
  68. #67OpenAIGPT-5 Nano추론 강도: High—11.7%10.5%
  69. #69GoogleGemma 4 31B144910.4%7.4%
1위가 2위보다 15.5%p 앞섬 · 모델 절반이 48.3% 이하

"작업 도구"는 AI가 과제를 풀 때 함께 쓴 실행 환경(에이전트 프로그램)입니다. 같은 모델이라도 작업 도구와 추론 강도에 따라 점수가 크게 달라질 수 있습니다.

카톡 문의