Arena Creative Writing

かんたんに言うと · 小説や詩などの創作文で人々がより好んだAI

何を測定しますか？

小説・詩・エッセイ・コラムのように想像力と表現が必要な文章での好みです。文体・個性・感情表現を人々がどう評価したかが表れます。

誰がどのように評価しますか？

Arena Intelligence でユーザーが質問を入力すると、名前を隠した2つのAIが答え、より良い方に投票します。累計8,200万票以上の投票を統計モデル（Bradley-Terry）で集計して Elo 風の点数に換算し、この表は長く華やかに整えた回答を好む偏りを統計的に取り除いた「スタイル補正版」を公式データセットから取得します。 独創性・感情表現・視点を求める質問を、人がラベル付けした事例で学習したAI分類器が選んで集計します。

スコアの読み方

試験の点数（正答率%）ではなく対戦成績です。他のAIと対戦して選ばれた確率から計算するため満点がなく、新しいAIが入ると既存のAIの点数も少し動きます。通常1,000〜1,500の範囲で、2つのAIの点差が100点なら上位側が約64%、200点なら約76%の確率で選ばれるという意味です。正解かどうかは数えないため、間違った答えでも説明が親切なら勝てます。正確さが重要な用途なら正答率試験（GPQA・AIME など）も併せて見るのがよいでしょう。点差が数十点以内なら順位が違っても実質同じ等級と見るのが安全です。 好みが分かれる領域のため、他のカテゴリより投票者の傾向の影響が大きいです。

最終更新: 2026-10-02