ZeroBench

引用頻度 2/3
何を測定しますか?
今のAIがほとんど解けないように作られた画像推論の問題で、絵の中の物を数え、測り、複数の段階を続けて計算する力を見ます。
誰がどのように評価しますか?
100問をそれぞれ5回ずつ解かせ、1回でも正解すれば正解と数えます(pass@5)。
スコアの読み方
スコアは0〜100%です。高いほど良い結果です。スコアは運営チームが自ら測定した値のみを使います。
関連ベンチマーク
ZeroBench (sub-questions)
最高スコア52.0%
測定したモデル41件
測定基準高いほど良い画像入力モデルのみ
モデルのリリース時期
  1. 1
    OpenAI2026.09.04
    52.0%
  2. 2
    Anthropic2026.09.22
    43.0%
  3. 3
    OpenAI2026.09.22
    41.0%
  4. 4
    OpenAI2026.07.09
    30.0%
  5. 5
    Anthropic2026.07.24
    26.0%
  6. 6
    Anthropic2026.06.09
    24.0%
  7. 7
    OpenAI2026.04.23
    23.0%
  8. 7
    OpenAI2026.03.05
    23.0%
  9. 9
    Google2026.05.19
    22.0%
  10. 10
    OpenAI2026.07.09
    21.0%

「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。