Arena Mathematical

かんたんに言うと · 数学・統計分野の専門家レベルの質問で人々がより好んだAI

何を測定しますか？

数学・統計分野の専門家レベルの質問で、どのAIの答えが好まれたかです。例：証明の検討、統計モデルの選択、最適化問題。一般的な質問ではなく、その仕事を実際にしている人が投げかけそうな質問です。

誰がどのように評価しますか？

Arena Intelligence でユーザーが質問を入力すると、名前を隠した2つのAIが答え、より良い方に投票します。累計8,200万票以上の投票を統計モデル（Bradley-Terry）で集計して Elo 風の点数に換算し、この表は長く華やかに整えた回答を好む偏りを統計的に取り除いた「スタイル補正版」を公式データセットから取得します。 質問の推論の深さと専門性をAI分類器が判定し、全体の約5.5%だけを「専門家の質問」としてタグ付けし、さらに米国労働統計局の職業分類（SOC）に基づく職種に分けます（2025年11月新設）。 この表はそのうち「数学・統計」に分類された質問だけを集計します。

スコアの読み方

試験の点数（正答率%）ではなく対戦成績です。他のAIと対戦して選ばれた確率から計算するため満点がなく、新しいAIが入ると既存のAIの点数も少し動きます。通常1,000〜1,500の範囲で、2つのAIの点差が100点なら上位側が約64%、200点なら約76%の確率で選ばれるという意味です。正解かどうかは数えないため、間違った答えでも説明が親切なら勝てます。正確さが重要な用途なら正答率試験（GPQA・AIME など）も併せて見るのがよいでしょう。点差が数十点以内なら順位が違っても実質同じ等級と見るのが安全です。 この職種は質問数が少なく上位の順位が頻繁に変わるため、順位より点数帯を見るのが安全です。

最終更新: 2026-10-02