SimpleQA Verified

引用頻度 2/3
何を測定しますか?
ツールなしで記憶だけを頼りに、短い事実の質問に正確に答えられるかを見ます。OpenAIのSimpleQAを整えた版です。
誰がどのように評価しますか?
1,000問です。SimpleQA(4,326問)から重複を除き、トピックを均等にし、誤った正解表記を直しました。ここでの値はEpoch AIが測定した正答率です。
スコアの読み方
スコアは0〜100%です。高いほど良い結果です。
最高スコア94.0%
測定したモデル69件
測定基準高いほど良い
最終更新2026.11.19
モデルのリリース時期

検索しなくても、事実を正確に知っている?

SimpleQA Verified

  1. 🥇AnthropicClaude Fable 5.2推論強度: Max148394.0%—
  2. 🥈OpenAIGPT-6.2 Astra推論強度: Max143978.5%—
  3. 🥉GoogleGemini 4 Carbon推論強度: High152277.7%—
  4. #4GoogleGemini 4 Argon推論強度: High149276.0%12.1%
  5. #5OpenAIGPT-6 Astra推論強度: Max146875.6%8.7%
  6. #6GoogleGemini 4 Neon推論強度: Extra High150975.2%—
  7. #7OpenAIGPT-6.1 Sol推論強度: Max147073.9%—
  8. #8GoogleGemini 3.1 Pro推論強度: High147273.5%10.4%
  9. #9AnthropicClaude Opus 5.5推論強度: Max150572.2%9.9%
  10. #10GoogleGemini 4 Hydrogen推論強度: Extra High149470.9%—
  11. #11AnthropicClaude Fable 5.1推論強度: Max149970.8%—
  12. #12AnthropicClaude Fable 5推論強度: Extra High148370.7%—
  13. #13OpenAIGPT-5.6 Sol推論強度: Max147669.7%12.4%
  14. #13GoogleGemini 3.8 Flash推論強度: High146969.7%—
  15. #15GoogleGemini 3.7 Flash推論強度: High147669.2%—
  16. #16GoogleGemini 3 Flash推論強度: High146866.8%13.5%
  17. #17GoogleGemini 3.5 Flash推論強度: High147866.2%—
  18. #17GoogleGemini 3.6 Flash推論強度: High147266.2%—
  19. #19OpenAIGPT-5.5推論強度: Extra High148563.0%9.3%
  20. #20Moonshot AIKimi K3.1 Pro推論強度: Max147962.2%—
  21. #21OpenAIGPT-6 Sol推論強度: Max144260.7%6.5%
  22. #22MetaMuse Spark 1.2推論強度: Extra High147960.3%—
  23. #23AnthropicClaude Opus 5推論強度: Max148859.9%—
  24. #24MetaMuse Spark 1.1146457.8%—
  25. #25OpenAIGPT-6.1 Terra推論強度: Max145557.3%—
  26. #26SpaceXSIGrok 4.7推論強度: Extra High143956.0%—
  27. #27AlibabaQwen3.7 Max148055.8%—
  28. #28AnthropicClaude Opus 4.8推論強度: Max147053.0%—
  29. #29DeepSeekDeepSeek V4 Pro推論強度: Max145552.9%8.6%
  30. #30AlibabaQwen3.6 Max145252.0%—
  31. #31AnthropicClaude Opus 4.7推論強度: Extra High147851.7%12.0%
  32. #32Moonshot AIKimi K3推論強度: Max147150.6%—
  33. #33OpenAIGPT-5推論強度: High142150.1%—
  34. #34SpaceXSIGrok 4.6推論強度: High145149.3%—
  35. #35SpaceXSIGrok 4.5推論強度: High146548.3%—
  36. #36AnthropicClaude Opus 4.6推論強度: Max149347.0%12.2%
  37. #37AnthropicClaude Sonnet 5.5推論強度: Max147346.5%—
  38. #38OpenAIGPT-5.4 Pro推論強度: Extra High—46.3%8.3%
  39. #39AnthropicClaude Opus 4.5推論強度: Budget 32K145945.7%10.9%
  40. #40OpenAIGPT-5.4推論強度: Extra High148445.1%7.0%
  41. #41AlibabaQwen3.6 Plus143844.1%—
  42. #42OpenAIGPT-5.6 Terra推論強度: Max146943.2%—
  43. #43DeepSeekDeepSeek V4.1 Flash推論強度: Max146842.9%4.2%
  44. #44DeepSeekDeepSeek V4.1 Flash 1017推論強度: Max—42.5%—
  45. #45OpenAIGPT-6 Luna推論強度: Max146641.4%—
  46. #46Z.aiGLM 5.3推論強度: Max146941.0%—
  47. #46OpenAIGPT-5.6 Luna推論強度: Max146041.0%—
  48. #48Moonshot AIKimi K2.7 Code—36.5%—
  49. #49AnthropicClaude Sonnet 4.6推論強度: High146135.5%10.6%
  50. #50Moonshot AIKimi K2.6145634.9%—
  51. #51Moonshot AIKimi K2.5144534.3%—
  52. #52Z.aiGLM 5.2推論強度: Max146334.2%—
  53. #53Z.aiGLM-5.1145634.0%—
  54. #54AnthropicClaude Sonnet 5推論強度: Max145133.7%—
  55. #55DeepSeekDeepSeek V4 Flash推論強度: Max143933.6%—
  56. #56SpaceXSIGrok 4.3推論強度: High142633.2%—
  57. #57OpenAIGPT-4.1140831.1%5.6%
  58. #58AnthropicClaude Sonnet 4.5推論強度: Budget 59K144930.7%12.0%
  59. #59SpaceXSIGrok 4.20 (Reasoning)145630.2%—
  60. #60OpenAIGPT-5.4 Mini推論強度: High144629.4%5.5%
  61. #61AlibabaQwen3.5 Plus—25.4%10.7%
  62. #62AnthropicClaude Haiku 5.5推論強度: Max142423.8%—
  63. #63Mistral AIMistral Large 4推論強度: High142122.4%—
  64. #64OpenAIGPT-5 Mini推論強度: High139421.6%12.9%
  65. #65AlibabaQwen3.6 Flash—15.9%—
  66. #66AnthropicClaude Haiku 4.5141813.2%9.8%
  67. #67OpenAIGPT-5.4 Nano推論強度: High141611.7%3.1%
  68. #67OpenAIGPT-5 Nano推論強度: High—11.7%10.5%
  69. #69GoogleGemma 4 31B144910.4%7.4%
1位が2位より15.5ポイントリード · モデルの半数が48.3%以下

「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。