MATH-500

かんたんに言うと · コンテストレベルの数学問題500問をどれだけ解けるか

何を測定しますか？

Artificial Analysis が「レガシー」に分類し新モデルの測定が稀な評価です（最近のモデルは表にない場合があります）。高校の競技レベルの数学問題500問で、計算・代数・幾何・確率の力を見ます。AIME より易しく、範囲は広めです。

誰がどのように評価しますか？

UC バークレーの研究陣による MATH データセット（12,500問）から、OpenAI が2023年の研究で代表標本として抽出した500問です。答えが定まっているため自動採点で、Artificial Analysis が自ら実行します。

スコアの読み方

0〜100%。最新のAIの多くが95%を超え、事実上満点争いのため、この点数だけでは優劣がつけにくいです。