Artificial Analysis、Decision Index v2を公開

Artificial Analysisは2026年11月8日、正答と確信度の適切さの両方を評価する総合スコアを導入したDecision Index v2を公開しました。非公開データセットの比率はv1の25%から45%に上昇しました。Nace AIのDrex Max v1.1とFastino LabsのGLiDE v1.2はそれぞれ73点、Mammoth 27Bは72点で、上位3つの意思決定モデルは1点差に収まりました。

新しいDecision Scoreは設問ごとに0～100点で、正答は50点超、誤答は50点未満となり、確信度に応じて各範囲内の点数が変わります。評価全体の指標は「50 × (1 + Accuracy − Brier score)」で、特定の基準値を選ばず、確信度の水準ごとの平均的な得点を測ります。AA-Paperclipでは、正答率で見るとClefは文書の36%、Celeris-1.1 Decisionは24%に合格しましたが、ブライヤースコアがClefの0.27に対してCelerisは0.15と低く、Decision Scoreでは同点でした。Index全体ではGLiDEが正答率60でDrexの58を上回る一方、総合Decision IndexではDrexが上位です。

改訂版には、履歴書、領収書、請求書、AI研究論文など1,500件の文書を含む非公開ベンチマーク、AA-Paperclipが加わりました。各文書には5つの判断課題と10個の事実抽出があり、計15問すべてに正解した場合のみ文書合格となります。Claude Haiku 5.5 (Max)は文書の92%、GPT-6 Luna (Max)は86%に合格しました。意思決定モデルではDrex Max v1.1が63%、GLiDE v1.2が62%、Decider v1.2が55%でした。Drexは個別設問の97%に正解し、Claudeの99%に近いものの、文書合格率は低く、文書の71%で判断5問すべて、88%で抽出10問すべてに正解しました。

AA-Symmetryは、120件の基礎質問と、選択肢の順序変更、ラベルの入れ替え、はい・いいえ質問の否定などを加えた440件の変形質問で一貫性を測ります。Mammoth 27Bは96点、Elephant 9Bは93点でした。変形質問を通じて同じ答えを選んだ割合は、Mammothが99%、Drexが91%、GLiDEが88%、Clefが67%でした。IndexにはEvalSafe-ONET-AAが15%の比率で加わりました。AA-Omniscience-DecisionとHLE-MultiChoiceはそれぞれ25%から15%に、NVIDIAのWhen2Callは25%から10%に比率が下がり、飽和度が高かったWildGuardTestは除外されました。

意思決定モデルの100万タスク当たりの費用には60倍超の差があります。Celeris-1.1 Decisionは14ドル、Decider v1.2は68ドル、Drex Max v1.1は102ドル、Clefは859ドルです。GLiDEは780ドルで、Drexの価格の約8倍です。リスト価格の差は33%ですが、GLiDEは各設問について文書入力分を請求します。AA-PaperclipのタスクではGLiDEの入力トークン数は約63,000で、Drexの約9,000を上回ります。Decider Flash v1.2はトークン単価が半分であるにもかかわらず、Decider v1.2の約3倍となる196ドルです。GPT-6 Luna (Max)は76点、Claude Haiku 5.5 (Max)は77点で、Drexより約3点高い一方、GPT-6 Lunaは100万タスク当たり1,530ドル、1タスク当たり11.34秒かかります。Drexは102ドル、275ミリ秒です。最短時間はCelerisの56ミリ秒で、Elephantは70ミリ秒、Jev 1.14は92ミリ秒でした。MammothはGPT-6 Lunaとの差が4点以内で、処理速度は118倍です。

Artificial Analysisは2026年11月8日、正答と確信度の適切さの両方を評価する総合スコアを導入したDecision Index v2を公開しました。非公開データセットの比率はv1の25%から45%に上昇しました。Nace AIのDrex Max v1.1とFastino LabsのGLiDE v1.2はそれぞれ73点、Mammoth 27Bは72点で、上位3つの意思決定モデルは1点差に収まりました。

新しいDecision Scoreは設問ごとに0～100点で、正答は50点超、誤答は50点未満となり、確信度に応じて各範囲内の点数が変わります。評価全体の指標は「50 × (1 + Accuracy − Brier score)」で、特定の基準値を選ばず、確信度の水準ごとの平均的な得点を測ります。AA-Paperclipでは、正答率で見るとClefは文書の36%、Celeris-1.1 Decisionは24%に合格しましたが、ブライヤースコアがClefの0.27に対してCelerisは0.15と低く、Decision Scoreでは同点でした。Index全体ではGLiDEが正答率60でDrexの58を上回る一方、総合Decision IndexではDrexが上位です。

改訂版には、履歴書、領収書、請求書、AI研究論文など1,500件の文書を含む非公開ベンチマーク、AA-Paperclipが加わりました。各文書には5つの判断課題と10個の事実抽出があり、計15問すべてに正解した場合のみ文書合格となります。Claude Haiku 5.5 (Max)は文書の92%、GPT-6 Luna (Max)は86%に合格しました。意思決定モデルではDrex Max v1.1が63%、GLiDE v1.2が62%、Decider v1.2が55%でした。Drexは個別設問の97%に正解し、Claudeの99%に近いものの、文書合格率は低く、文書の71%で判断5問すべて、88%で抽出10問すべてに正解しました。

AA-Symmetryは、120件の基礎質問と、選択肢の順序変更、ラベルの入れ替え、はい・いいえ質問の否定などを加えた440件の変形質問で一貫性を測ります。Mammoth 27Bは96点、Elephant 9Bは93点でした。変形質問を通じて同じ答えを選んだ割合は、Mammothが99%、Drexが91%、GLiDEが88%、Clefが67%でした。IndexにはEvalSafe-ONET-AAが15%の比率で加わりました。AA-Omniscience-DecisionとHLE-MultiChoiceはそれぞれ25%から15%に、NVIDIAのWhen2Callは25%から10%に比率が下がり、飽和度が高かったWildGuardTestは除外されました。

意思決定モデルの100万タスク当たりの費用には60倍超の差があります。Celeris-1.1 Decisionは14ドル、Decider v1.2は68ドル、Drex Max v1.1は102ドル、Clefは859ドルです。GLiDEは780ドルで、Drexの価格の約8倍です。リスト価格の差は33%ですが、GLiDEは各設問について文書入力分を請求します。AA-PaperclipのタスクではGLiDEの入力トークン数は約63,000で、Drexの約9,000を上回ります。Decider Flash v1.2はトークン単価が半分であるにもかかわらず、Decider v1.2の約3倍となる196ドルです。GPT-6 Luna (Max)は76点、Claude Haiku 5.5 (Max)は77点で、Drexより約3点高い一方、GPT-6 Lunaは100万タスク当たり1,530ドル、1タスク当たり11.34秒かかります。Drexは102ドル、275ミリ秒です。最短時間はCelerisの56ミリ秒で、Elephantは70ミリ秒、Jev 1.14は92ミリ秒でした。MammothはGPT-6 Lunaとの差が4点以内で、処理速度は118倍です。