Artificial Analysisは2026年10月13日、固定された選択肢から1つを選び、1回の呼び出しで各選択肢の確率も示すモデルを比較する「Decision Index v1.0」を公開しました。指標は分類、ツール呼び出し、知識、幻覚、推論にまたがる4つの評価を組み合わせます。同社は、開発者や企業が意思決定モデルや言語モデルの能力、費用、速度を比べるための指標だと説明しています。

意思決定モデルは選択肢と確率を構造化して返すため、確信度と正答率がどれほど一致するかを測定できます。指標には、Artificial Analysisの知識・幻覚ベンチマークを基にした非公開の500問からなるAA-Omniscience-Decisionを採用し、正答率と非幻覚率がそれぞれ全体の12.5%を占めます。HLE-MultiChoiceは「Humanity’s Last Exam」から選んだテキストのみの513問を使います。When2Callは、モデルが直接回答するか、ツールを呼び出すか、追加情報を求めるか、回答を拒否するかを評価します。WildGuardTestは、ユーザーの依頼とアシスタントの返答が有害か、または拒否に当たるかを判定します。各評価の配点は25%です。Artificial Analysisは言語モデルにも同じ評価を行いますが、言語モデルは各選択肢の確率を示さず、構造化された選択肢を返します。

意思決定モデルの順位ではJev 1.13が58点で首位となり、GLiDEとMicrosoft-Decision-1が各54点で続きました。JevはHLE-MultiChoiceで21点を獲得し、ほかの意思決定モデルはすべて15点以下でした。AA-Omniscience-DecisionでのJevの正答率は35点で、多くの意思決定モデルと首位のd1（41点）を下回りました。一方、Jevの非幻覚率は35点で意思決定モデル中2位となり、d1は2点でした。When2CallではJevは81点で、Celeris-1 DecisionとGLiDEの84点に届きませんでした。WildGuardTestでは94点を取り、Decider v1.1 27Bと並びました。GLiDEは95点で、Jevを1点上回りました。

意思決定モデルの費用は100万タスク当たり17～199ドル、タスク時間の中央値は0.06～0.5秒でした。Decider v1.1 27Bは100万タスク当たり17ドル、Microsoft-Decision-1は31ドル、Jev 1.13は42ドルです。GLiDEは54点を獲得しましたが、費用は119ドルで、Jevの42ドルのおよそ3倍でした。Celeris-1 Decisionは1タスク当たり0.06秒で最速となり、Jevの0.13秒より2倍以上速い結果でした。費用の算出には現行のトークン価格を使い、意思決定モデルは入力トークン、言語モデルは入力と出力の両方のトークンに課金する計算です。

Artificial Analysisによると、意思決定モデルはほぼすべての確率水準で過信する傾向があり、選んだ回答の正答率がモデルの示した確率を下回りました。同社はこの傾向について、知識や推論の課題で確信度の調整が弱いことが原因だと説明しています。一方、ほとんどのモデルはWhen2CallとWildGuardTestでは比較的よく調整されていました。意思決定モデルの非幻覚率はMicrosoft-Decision-1が40%で最も高く、Jev 1.13が35%、Mercury Decideが32%と続きました。それ以外の意思決定モデルは17%に届きませんでした。

比較では、言語モデルは知識と推論の得点が高い一方、処理が遅く、費用も高くなりました。Claude Haiku 5.5（Low）は指標で61点を獲得し、Jevを3点上回りましたが、1タスク当たり1.4秒かかり、Jevの0.13秒に対して11倍以上の時間を要しました。費用は100万タスク当たり184ドルで、Jevの42ドルの4.4倍です。GPT-6 Luna（Low）は55点でJevを下回り、1タスク当たり1.5秒、100万タスク当たり131ドルでした。知識の正答率はClaudeが52点、GPT-6 Lunaが66点で、意思決定モデルの28～41点を上回りました。HLE-MultiChoiceでは両モデルがそれぞれ24点、22点を獲得し、Jevは21点、ほかの意思決定モデルはすべて15点以下でした。分類ではGLiDEが95点、Decider v1.1 27BとJevが94点で、Claudeの93点とGPT-6 Lunaの89点を上回りました。ツール呼び出しではCeleris-1 DecisionとGLiDEが84点、GPT-6 Lunaが77点、Claudeが73点でした。

Artificial Analysisは2026年10月13日、固定された選択肢から1つを選び、1回の呼び出しで各選択肢の確率も示すモデルを比較する「Decision Index v1.0」を公開しました。指標は分類、ツール呼び出し、知識、幻覚、推論にまたがる4つの評価を組み合わせます。同社は、開発者や企業が意思決定モデルや言語モデルの能力、費用、速度を比べるための指標だと説明しています。

意思決定モデルは選択肢と確率を構造化して返すため、確信度と正答率がどれほど一致するかを測定できます。指標には、Artificial Analysisの知識・幻覚ベンチマークを基にした非公開の500問からなるAA-Omniscience-Decisionを採用し、正答率と非幻覚率がそれぞれ全体の12.5%を占めます。HLE-MultiChoiceは「Humanity’s Last Exam」から選んだテキストのみの513問を使います。When2Callは、モデルが直接回答するか、ツールを呼び出すか、追加情報を求めるか、回答を拒否するかを評価します。WildGuardTestは、ユーザーの依頼とアシスタントの返答が有害か、または拒否に当たるかを判定します。各評価の配点は25%です。Artificial Analysisは言語モデルにも同じ評価を行いますが、言語モデルは各選択肢の確率を示さず、構造化された選択肢を返します。

意思決定モデルの順位ではJev 1.13が58点で首位となり、GLiDEとMicrosoft-Decision-1が各54点で続きました。JevはHLE-MultiChoiceで21点を獲得し、ほかの意思決定モデルはすべて15点以下でした。AA-Omniscience-DecisionでのJevの正答率は35点で、多くの意思決定モデルと首位のd1（41点）を下回りました。一方、Jevの非幻覚率は35点で意思決定モデル中2位となり、d1は2点でした。When2CallではJevは81点で、Celeris-1 DecisionとGLiDEの84点に届きませんでした。WildGuardTestでは94点を取り、Decider v1.1 27Bと並びました。GLiDEは95点で、Jevを1点上回りました。

意思決定モデルの費用は100万タスク当たり17～199ドル、タスク時間の中央値は0.06～0.5秒でした。Decider v1.1 27Bは100万タスク当たり17ドル、Microsoft-Decision-1は31ドル、Jev 1.13は42ドルです。GLiDEは54点を獲得しましたが、費用は119ドルで、Jevの42ドルのおよそ3倍でした。Celeris-1 Decisionは1タスク当たり0.06秒で最速となり、Jevの0.13秒より2倍以上速い結果でした。費用の算出には現行のトークン価格を使い、意思決定モデルは入力トークン、言語モデルは入力と出力の両方のトークンに課金する計算です。

Artificial Analysisによると、意思決定モデルはほぼすべての確率水準で過信する傾向があり、選んだ回答の正答率がモデルの示した確率を下回りました。同社はこの傾向について、知識や推論の課題で確信度の調整が弱いことが原因だと説明しています。一方、ほとんどのモデルはWhen2CallとWildGuardTestでは比較的よく調整されていました。意思決定モデルの非幻覚率はMicrosoft-Decision-1が40%で最も高く、Jev 1.13が35%、Mercury Decideが32%と続きました。それ以外の意思決定モデルは17%に届きませんでした。

比較では、言語モデルは知識と推論の得点が高い一方、処理が遅く、費用も高くなりました。Claude Haiku 5.5（Low）は指標で61点を獲得し、Jevを3点上回りましたが、1タスク当たり1.4秒かかり、Jevの0.13秒に対して11倍以上の時間を要しました。費用は100万タスク当たり184ドルで、Jevの42ドルの4.4倍です。GPT-6 Luna（Low）は55点でJevを下回り、1タスク当たり1.5秒、100万タスク当たり131ドルでした。知識の正答率はClaudeが52点、GPT-6 Lunaが66点で、意思決定モデルの28～41点を上回りました。HLE-MultiChoiceでは両モデルがそれぞれ24点、22点を獲得し、Jevは21点、ほかの意思決定モデルはすべて15点以下でした。分類ではGLiDEが95点、Decider v1.1 27BとJevが94点で、Claudeの93点とGPT-6 Lunaの89点を上回りました。ツール呼び出しではCeleris-1 DecisionとGLiDEが84点、GPT-6 Lunaが77点、Claudeが73点でした。