Arena Hard Prompts

かんたんに言うと · 特に難しい質問だけで人々がより好んだ答えを出したAI

何を測定しますか？

易しい質問を除き難しい質問だけを残して数え直した順位です。専門知識・複雑な推論・正確さが必要な質問でどのAIが好まれたかを見ます。

誰がどのように評価しますか？

Arena Intelligence でユーザーが質問を入力すると、名前を隠した2つのAIが答え、より良い方に投票します。累計8,200万票以上の投票を統計モデル（Bradley-Terry）で集計して Elo 風の点数に換算し、この表は長く華やかに整えた回答を好む偏りを統計的に取り除いた「スタイル補正版」を公式データセットから取得します。 具体性・専門性・推論段階・技術的正確さなど7つの基準で評価し、上位約1/3に入る質問だけを集計します。

スコアの読み方

試験の点数（正答率%）ではなく対戦成績です。他のAIと対戦して選ばれた確率から計算するため満点がなく、新しいAIが入ると既存のAIの点数も少し動きます。通常1,000〜1,500の範囲で、2つのAIの点差が100点なら上位側が約64%、200点なら約76%の確率で選ばれるという意味です。正解かどうかは数えないため、間違った答えでも説明が親切なら勝てます。正確さが重要な用途なら正答率試験（GPQA・AIME など）も併せて見るのがよいでしょう。点差が数十点以内なら順位が違っても実質同じ等級と見るのが安全です。 総合順位との差が大きいAIは、易しい質問と難しい質問で実力が異なるということです。

最終更新: 2026-10-02