BullshitBench v2

引用頻度 1/3
何を測定しますか?
前提からして筋の通らない質問を受けたとき、AIがもっともらしい答えを作らず「質問がおかしい」とはっきり指摘できるかを見る、お楽しみベンチマークです。
誰がどのように評価しますか?
ソフトウェア・金融・法律・医療・物理の分野の筋の通らない質問100問(手口13種類)を尋ねます。AI審査員3人(Claude Sonnet 4.6・GPT-5.2・Gemini 3.1 Pro Preview)が答えを「はっきり反論・部分的に指摘・そのまま受け入れ」に分け、はっきり反論した質問の割合がスコアです。同じモデルでも推論設定ごとに別々に測ります。
スコアの読み方
スコアは0〜100%です。高いほど良い結果です。測定はPeter Gostevによるものです(BullshitBench、MIT)。採点もAIが行うため、審査員の傾向がスコアに混ざります。まともな質問を誤って拒否するかどうかは測りません。お楽しみのスコアなので用途別ランキングには使いません。
最高スコア95.0%
測定したモデル143件
測定基準高いほど良い
最終更新2026.11.19
モデルのリリース時期
リリース日の情報がないモデル51件はグラフになく、下の表にのみ表示されます。
  1. 1
    Anthropic2026.05.27 · none
    95.0%
  2. 1
    Alibaba
    qwen/qwen3.8-max
    minimal
    95.0%
  3. 3
    Anthropic2026.02.17 · high
    91.0%
  4. 4
    Google2026.11.12 · xhigh
    90.0%
  5. 4
    Alibaba2026.11.16 · max
    90.0%
  6. 4
    Anthropic2025.11.24 · high
    90.0%
  7. 7
    Anthropic2026.02.04 · high
    87.0%
  8. 8
    Google2026.11.18 · xhigh
    84.0%
  9. 9
    Anthropic2026.04.16 · none
    83.0%
  10. 10
    Anthropic2026.06.30 · low
    80.0%

「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。