Artificial Analysis、Intelligence Index v5を公開

Artificial Analysisは10月27日、2つのベンチマークを追加し、3つの評価を改訂したIntelligence Index v5を発表しました。同社によると、指数の60%で非公開テストセットまたは保留した解答を使用しており、1月にv4を公開して以来、最大の更新です。また、2022年11月以降に公開された言語モデルを単一の能力尺度に並べ、時間経過による変化を示すProgress Index v1も公開しました。

新しい評価の1つ、FrontierCode 2.0は、実際のオープンソースリポジトリにある132の課題を使う非公開のコーディングベンチマークです。もう1つのTerminal-Bench-Scienceは、ターミナル上で70の科学研究課題を試します。FrontierCodeの課題は、AIエージェントを課題に沿って動かすソフトウェア基盤であるStirrupで3回実行し、必須チェックに1つでも失敗すると0点になります。Terminal-Bench-Scienceは、すべてのテストに合格した場合だけ課題合格となります。

改訂された3評価のうち、HLE-Diamondは推論と知識の問題を同数ずつ含む1,000問に整えられました。AA-Omniscience v1.1は、飽和した問題と公開問題を除き、曖昧または誤りのある問題を修正しました。CritPt v2では、非公開の難問40問を使います。AA-Briefcase、AutomationBench-AA、GDP.pdf、Terminal-Bench 4.0は指数に残り、GDPval-AA v2.1、SciCode、AA-LCR v1.1は除外されました。

指数はKnowledge Work、Coding、Science、Generalの4分野にそれぞれ25%を割り当てています。総合ではClaude Opus 5.5が58点で首位、GPT-6 Astraが57点、GPT-6.1 Solが55点で続きます。上位5位はAnthropicとOpenAIのモデルが占め、次点のGemini 4 Argonは50点でした。Claude Opus 5.5はFrontierCode 2.0で46%、HLE-Diamondで68%、AA-Omniscience v1.1で48%を獲得し、それぞれ首位です。GPT-6 AstraはTerminal-Bench-Scienceで63%、CritPt v2の難問セットで72%を記録しました。9つの評価すべてで首位となったモデルはありません。

オープンウェイトモデルの首位Kimi K3.1 Proは46点で、総合首位に12点差でした。v4.3での差は3点です。同モデルのウェイトは公開されていません。ウェイト公開済みモデルではDeepSeek V4.1 Flash 1017とGLM-5.3が32点で首位となり、Claude Haiku 5.5は36点でした。HLE-DiamondとTerminal-Bench-ScienceでのKimiの得点率は37%と34%で、Claude Opus 5.5の68%、GPT-6 Astraの63%を下回りました。

掲載された得点上位10モデルのタスク当たりコストは、GPT-6.1 Terraの0.96ドルからClaude Fable 5.1の13.04ドルまででした。Claude Opus 5.5は10.04ドル、GPT-6 Astraは6.24ドル、GPT-6.1 Solは1.27ドルです。GPT-6.1 SolはClaude Opus 5.5より4点以内の得点を、約8分の1のコストで記録しました。推論時の計算量設定でも結果は変わり、Claude Opus 5.5は低設定で35点、最大設定で58点となる一方、コストは0.98ドルから10.04ドルに上がりました。Claude Sonnet 5.5の低設定と最大設定の得点差は29点で、v4.3の20点から広がりました。GPT-6.1 Solの差も10点から20点に倍増しました。

測定対象の全モデルで、タスク当たりの出力トークン数はv4.3より増え、中央値は35kから59kへ3分の2増加しました。エージェントを使う4つの評価は指数の重みの55%を占める一方、出力トークン中央値の約90%を占めます。Terminal-Bench-Scienceだけで、タスク当たりトークン数の約3分の1を占めました。

Artificial Analysisは10月27日、2つのベンチマークを追加し、3つの評価を改訂したIntelligence Index v5を発表しました。同社によると、指数の60%で非公開テストセットまたは保留した解答を使用しており、1月にv4を公開して以来、最大の更新です。また、2022年11月以降に公開された言語モデルを単一の能力尺度に並べ、時間経過による変化を示すProgress Index v1も公開しました。

新しい評価の1つ、FrontierCode 2.0は、実際のオープンソースリポジトリにある132の課題を使う非公開のコーディングベンチマークです。もう1つのTerminal-Bench-Scienceは、ターミナル上で70の科学研究課題を試します。FrontierCodeの課題は、AIエージェントを課題に沿って動かすソフトウェア基盤であるStirrupで3回実行し、必須チェックに1つでも失敗すると0点になります。Terminal-Bench-Scienceは、すべてのテストに合格した場合だけ課題合格となります。

改訂された3評価のうち、HLE-Diamondは推論と知識の問題を同数ずつ含む1,000問に整えられました。AA-Omniscience v1.1は、飽和した問題と公開問題を除き、曖昧または誤りのある問題を修正しました。CritPt v2では、非公開の難問40問を使います。AA-Briefcase、AutomationBench-AA、GDP.pdf、Terminal-Bench 4.0は指数に残り、GDPval-AA v2.1、SciCode、AA-LCR v1.1は除外されました。

指数はKnowledge Work、Coding、Science、Generalの4分野にそれぞれ25%を割り当てています。総合ではClaude Opus 5.5が58点で首位、GPT-6 Astraが57点、GPT-6.1 Solが55点で続きます。上位5位はAnthropicとOpenAIのモデルが占め、次点のGemini 4 Argonは50点でした。Claude Opus 5.5はFrontierCode 2.0で46%、HLE-Diamondで68%、AA-Omniscience v1.1で48%を獲得し、それぞれ首位です。GPT-6 AstraはTerminal-Bench-Scienceで63%、CritPt v2の難問セットで72%を記録しました。9つの評価すべてで首位となったモデルはありません。

オープンウェイトモデルの首位Kimi K3.1 Proは46点で、総合首位に12点差でした。v4.3での差は3点です。同モデルのウェイトは公開されていません。ウェイト公開済みモデルではDeepSeek V4.1 Flash 1017とGLM-5.3が32点で首位となり、Claude Haiku 5.5は36点でした。HLE-DiamondとTerminal-Bench-ScienceでのKimiの得点率は37%と34%で、Claude Opus 5.5の68%、GPT-6 Astraの63%を下回りました。

掲載された得点上位10モデルのタスク当たりコストは、GPT-6.1 Terraの0.96ドルからClaude Fable 5.1の13.04ドルまででした。Claude Opus 5.5は10.04ドル、GPT-6 Astraは6.24ドル、GPT-6.1 Solは1.27ドルです。GPT-6.1 SolはClaude Opus 5.5より4点以内の得点を、約8分の1のコストで記録しました。推論時の計算量設定でも結果は変わり、Claude Opus 5.5は低設定で35点、最大設定で58点となる一方、コストは0.98ドルから10.04ドルに上がりました。Claude Sonnet 5.5の低設定と最大設定の得点差は29点で、v4.3の20点から広がりました。GPT-6.1 Solの差も10点から20点に倍増しました。

測定対象の全モデルで、タスク当たりの出力トークン数はv4.3より増え、中央値は35kから59kへ3分の2増加しました。エージェントを使う4つの評価は指数の重みの55%を占める一方、出力トークン中央値の約90%を占めます。Terminal-Bench-Scienceだけで、タスク当たりトークン数の約3分の1を占めました。