SimpleQA Verified
인용 빈도 2/3
- 무엇을 측정하나요?
- 도구 없이 기억만으로 짧은 사실 질문에 정확히 답하는지 봅니다. OpenAI의 SimpleQA를 다듬은 판입니다.
- 누가 어떻게 평가하나요?
- 1,000문항입니다. SimpleQA(4,326문항)에서 중복을 빼고 주제를 고르게 맞추고 잘못된 정답 표기를 고쳤습니다. 여기 값은 Epoch AI가 잰 정답률입니다.
- 점수 읽는 법
- 점수는 0~100%입니다. 높을수록 좋습니다.
최고 점수94.0%
측정한 모델69개
측정 기준높을수록 좋음
최근 갱신2026.11.19
모델 출시 시기
대중들이 가장 선호하면서 틀린 말도 없는 답변을 하는 AI는?Arena Text Factuality
Gemini 4 Carbon🥇
Gemini 4 Carbon🥇Arena Text Factuality
Gemini 4 Carbon🥇요약할 때 없는 내용을 지어내지 않을까?Vectara Hallucination Rate
GPT-5.4 Nano🥇
GPT-5.4 Nano🥇Vectara Hallucination Rate
GPT-5.4 Nano🥇
검색 없이도 사실을 정확하게 알고 있을까?
SimpleQA Verified
- 🥇AnthropicClaude Fable 5.2추론 강도: Max148394.0%—
- 🥈OpenAIGPT-6.2 Astra추론 강도: Max143978.5%—
- 🥉GoogleGemini 4 Carbon추론 강도: High152277.7%—
- #4GoogleGemini 4 Argon추론 강도: High149276.0%12.1%
- #5OpenAIGPT-6 Astra추론 강도: Max146875.6%8.7%
- #6GoogleGemini 4 Neon추론 강도: Extra High150975.2%—
- #7OpenAIGPT-6.1 Sol추론 강도: Max147073.9%—
- #8GoogleGemini 3.1 Pro추론 강도: High147273.5%10.4%
- #9AnthropicClaude Opus 5.5추론 강도: Max150572.2%9.9%
- #10GoogleGemini 4 Hydrogen추론 강도: Extra High149470.9%—
- #11AnthropicClaude Fable 5.1추론 강도: Max149970.8%—
- #12AnthropicClaude Fable 5추론 강도: Extra High148370.7%—
- #13OpenAIGPT-5.6 Sol추론 강도: Max147669.7%12.4%
- #13GoogleGemini 3.8 Flash추론 강도: High146969.7%—
- #15GoogleGemini 3.7 Flash추론 강도: High147669.2%—
- #16GoogleGemini 3 Flash추론 강도: High146866.8%13.5%
- #17GoogleGemini 3.5 Flash추론 강도: High147866.2%—
- #17GoogleGemini 3.6 Flash추론 강도: High147266.2%—
- #19OpenAIGPT-5.5추론 강도: Extra High148563.0%9.3%
- #20Moonshot AIKimi K3.1 Pro추론 강도: Max147962.2%—
- #21OpenAIGPT-6 Sol추론 강도: Max144260.7%6.5%
- #22MetaMuse Spark 1.2추론 강도: Extra High147960.3%—
- #23AnthropicClaude Opus 5추론 강도: Max148859.9%—
- #24MetaMuse Spark 1.1146457.8%—
- #25OpenAIGPT-6.1 Terra추론 강도: Max145557.3%—
- #26SpaceXSIGrok 4.7추론 강도: Extra High143956.0%—
- #27AlibabaQwen3.7 Max148055.8%—
- #28AnthropicClaude Opus 4.8추론 강도: Max147053.0%—
- #29DeepSeekDeepSeek V4 Pro추론 강도: Max145552.9%8.6%
- #30AlibabaQwen3.6 Max145252.0%—
- #31AnthropicClaude Opus 4.7추론 강도: Extra High147851.7%12.0%
- #32Moonshot AIKimi K3추론 강도: Max147150.6%—
- #33OpenAIGPT-5추론 강도: High142150.1%—
- #34SpaceXSIGrok 4.6추론 강도: High145149.3%—
- #35SpaceXSIGrok 4.5추론 강도: High146548.3%—
- #36AnthropicClaude Opus 4.6추론 강도: Max149347.0%12.2%
- #37AnthropicClaude Sonnet 5.5추론 강도: Max147346.5%—
- #38OpenAIGPT-5.4 Pro추론 강도: Extra High—46.3%8.3%
- #39AnthropicClaude Opus 4.5추론 강도: Budget 32K145945.7%10.9%
- #40OpenAIGPT-5.4추론 강도: Extra High148445.1%7.0%
- #41AlibabaQwen3.6 Plus143844.1%—
- #42OpenAIGPT-5.6 Terra추론 강도: Max146943.2%—
- #43DeepSeekDeepSeek V4.1 Flash추론 강도: Max146842.9%4.2%
- #44DeepSeekDeepSeek V4.1 Flash 1017추론 강도: Max—42.5%—
- #45OpenAIGPT-6 Luna추론 강도: Max146641.4%—
- #46Z.aiGLM 5.3추론 강도: Max146941.0%—
- #46OpenAIGPT-5.6 Luna추론 강도: Max146041.0%—
- #48Moonshot AIKimi K2.7 Code—36.5%—
- #49AnthropicClaude Sonnet 4.6추론 강도: High146135.5%10.6%
- #50Moonshot AIKimi K2.6145634.9%—
- #51Moonshot AIKimi K2.5144534.3%—
- #52Z.aiGLM 5.2추론 강도: Max146334.2%—
- #53Z.aiGLM-5.1145634.0%—
- #54AnthropicClaude Sonnet 5추론 강도: Max145133.7%—
- #55DeepSeekDeepSeek V4 Flash추론 강도: Max143933.6%—
- #56SpaceXSIGrok 4.3추론 강도: High142633.2%—
- #57OpenAIGPT-4.1140831.1%5.6%
- #58AnthropicClaude Sonnet 4.5추론 강도: Budget 59K144930.7%12.0%
- #59SpaceXSIGrok 4.20 (Reasoning)145630.2%—
- #60OpenAIGPT-5.4 Mini추론 강도: High144629.4%5.5%
- #61AlibabaQwen3.5 Plus—25.4%10.7%
- #62AnthropicClaude Haiku 5.5추론 강도: Max142423.8%—
- #63Mistral AIMistral Large 4추론 강도: High142122.4%—
- #64OpenAIGPT-5 Mini추론 강도: High139421.6%12.9%
- #65AlibabaQwen3.6 Flash—15.9%—
- #66AnthropicClaude Haiku 4.5141813.2%9.8%
- #67OpenAIGPT-5.4 Nano추론 강도: High141611.7%3.1%
- #67OpenAIGPT-5 Nano추론 강도: High—11.7%10.5%
- #69GoogleGemma 4 31B144910.4%7.4%
1위가 2위보다 15.5%p 앞섬 · 모델 절반이 48.3% 이하
"작업 도구"는 AI가 과제를 풀 때 함께 쓴 실행 환경(에이전트 프로그램)입니다. 같은 모델이라도 작업 도구와 추론 강도에 따라 점수가 크게 달라질 수 있습니다.