BullshitBench v2
引用頻度 1/3
- 何を測定しますか?
- 前提からして筋の通らない質問を受けたとき、AIがもっともらしい答えを作らず「質問がおかしい」とはっきり指摘できるかを見る、お楽しみベンチマークです。
- 誰がどのように評価しますか?
- ソフトウェア・金融・法律・医療・物理の分野の筋の通らない質問100問(手口13種類)を尋ねます。AI審査員3人(Claude Sonnet 4.6・GPT-5.2・Gemini 3.1 Pro Preview)が答えを「はっきり反論・部分的に指摘・そのまま受け入れ」に分け、はっきり反論した質問の割合がスコアです。同じモデルでも推論設定ごとに別々に測ります。
- スコアの読み方
- スコアは0〜100%です。高いほど良い結果です。測定はPeter Gostevによるものです(BullshitBench、MIT)。採点もAIが行うため、審査員の傾向がスコアに混ざります。まともな質問を誤って拒否するかどうかは測りません。お楽しみのスコアなので用途別ランキングには使いません。
最高スコア95.0%
測定したモデル143件
測定基準高いほど良い
最終更新2026.11.19
モデルのリリース時期
リリース日の情報がないモデル51件はグラフになく、下の表にのみ表示されます。
順位モデル実行条件リリース日価格/1Mスコア
- 1none2026.05.27$2095.0%
- 1minimal——95.0%Alibabaqwen/qwen3.8-maxminimal
- 3high2026.02.17$1291.0%
- 4xhigh2026.11.12$690.0%

- 4max2026.11.16$3.5690.0%
- 4high2025.11.24$2090.0%
- 7high2026.02.04$2087.0%
- 8xhigh2026.11.18$1284.0%

- 9none2026.04.16$2083.0%
- 10low2026.06.30$880.0%
「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。