EnigmaEval

何を測定しますか?
Scale AIなどが作った試験で、創造的な発想と複数段階の推理が必要な長いパズルハントの問題を解く力を見ます。
誰がどのように評価しますか?
文章と画像が混ざったパズル1,184問です。最終的な答え1つが正解と完全に一致すれば正解とし、途中の過程は見ません。
スコアの読み方
スコアは0〜100%です。高いほど良い結果です。初心者向けの大会の問題と、MITミステリーハントなどの難しい問題に分かれ、難しい方では最新モデルでもほぼ0点です。
最高スコア39.3%
測定したモデル19件
測定基準高いほど良い
モデルのリリース時期
  1. 1
    Anthropic2026.06.09 · high
    39.3%
  2. 2
    OpenAI2026.07.09 · high
    37.1%
  3. 3
    Google2026.02.19
    36.8%
  4. 4
    Google2026.05.19 · high
    25.4%
  5. 5
    OpenAI2026.03.05
    23.8%
  6. 6
    Anthropic2026.05.27 · xhigh
    23.5%
  7. 7
    OpenAI2026.03.05 · xhigh
    16.0%
  8. 8
    Anthropic2025.11.24
    11.9%
  9. 9
    OpenAI2025.08.07
    10.5%
  10. 10
    OpenAI2025.08.07
    8.2%

「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。