LiveBench Reasoning

かんたんに言うと · 毎月新しく出すパズル・論理問題をどれだけ正解するか

何を測定しますか？

論理パズルを解く力です。複数人の真偽の発言から結論を導く、条件が絡む配置パズル、図形の空間関係の推論など、知識より考え抜く力が必要です。

誰がどのように評価しますか？

Abacus.AI・ニューヨーク大学などの研究陣が作った LiveBench は、最近の大会問題・論文・ニュースから毎月新しい問題を出し、AIが学習中に問題を見た可能性（汚染）を減らします。答えが定まった問題だけを出してプログラムが自動採点し、別のAIは採点しません。この表は livebench.ai が公開した最新の月次結果表を取得しますが、最新の表にないAIは最後に掲載されたスコアを順位を付けずに表の下に別に表示します。 推論科目は真偽推論（Web of Lies）、シマウマパズル、空間推論の課題で構成されます。

スコアの読み方

0〜100点です。問題が難しく設計されており最上位AIでも70点を超えるのは難しく、毎月問題が変わるため時点の異なる点数の直接比較は避けてください。 常識や知識ではなく純粋な論理能力だけを測ります。

最終更新: 2026-06-25