Arena Japanese

かんたんに言うと · 日本語で質問したとき人々がより好んだ答えを出したAI

何を測定しますか？

日本語で入力された質問だけを集めて数えた順位です。英語の成績が良くても日本語の表現や文脈理解が劣るAIを見分けられます。

誰がどのように評価しますか？

Arena Intelligence でユーザーが質問を入力すると、名前を隠した2つのAIが答え、より良い方に投票します。累計8,200万票以上の投票を統計モデル（Bradley-Terry）で集計して Elo 風の点数に換算し、この表は長く華やかに整えた回答を好む偏りを統計的に取り除いた「スタイル補正版」を公式データセットから取得します。 質問の言語を自動検出して日本語の質問だけを集計します。

スコアの読み方

試験の点数（正答率%）ではなく対戦成績です。他のAIと対戦して選ばれた確率から計算するため満点がなく、新しいAIが入ると既存のAIの点数も少し動きます。通常1,000〜1,500の範囲で、2つのAIの点差が100点なら上位側が約64%、200点なら約76%の確率で選ばれるという意味です。正解かどうかは数えないため、間違った答えでも説明が親切なら勝てます。正確さが重要な用途なら正答率試験（GPQA・AIME など）も併せて見るのがよいでしょう。点差が数十点以内なら順位が違っても実質同じ等級と見るのが安全です。 英語の総合順位より標本が小さく順位変動が大きく、日本語の順位は他言語の順位との相関が低めなので別々に見るのが適切です。

最終更新: 2026-10-02