Artificial Analysis가 2026년 10월 13일, 정해진 선택지 가운데 하나를 고르고 한 번의 호출로 각 선택지의 확률을 제시하는 모델들을 비교하는 Decision Index v1.0을 공개했습니다. 이 지수는 분류, 도구 호출, 지식, 환각, 추론을 아우르는 네 가지 평가를 결합합니다. 회사는 개발자와 기업이 의사결정 모델 및 언어 모델의 역량, 비용, 속도를 비교하도록 돕기 위한 지수라고 밝혔습니다.

의사결정 모델은 선택지와 그 확률을 구조화해 반환하므로, 평가자는 보정도 측정할 수 있습니다. 보정은 모델의 확신도와 실제 정답률이 얼마나 일치하는지를 뜻합니다. 지수에 포함된 AA-Omniscience-Decision은 Artificial Analysis의 지식·환각 벤치마크를 바탕으로 만든 비공개 문항 500개를 사용하며, 정확도와 비환각률은 각각 지수의 12.5%를 차지합니다. HLE-MultiChoice는 Humanity’s Last Exam의 텍스트 전용 문항 513개를 사용합니다. When2Call은 모델이 직접 답하거나 도구를 호출하거나, 추가 정보를 요청하거나, 답변을 거부하는지를 평가합니다. WildGuardTest는 사용자 요청과 보조자 답변이 유해한지 또는 거부에 해당하는지 평가합니다. 각 평가는 지수의 25%를 차지합니다. Artificial Analysis는 언어 모델에도 같은 시험을 적용하지만, 언어 모델은 구조화된 선택지는 반환해도 선택지별 확률은 제시하지 않습니다.

의사결정 모델 순위에서는 Jev 1.13이 58점으로 1위, GLiDE와 Microsoft-Decision-1이 각각 54점으로 뒤를 이었습니다. Jev는 HLE-MultiChoice에서 21점을 얻었고, 다른 의사결정 모델은 모두 15점 이하였습니다. AA-Omniscience-Decision에서 Jev의 정확도는 35점으로 대부분의 의사결정 모델과 d1의 최고점 41점보다 낮았습니다. Jev의 비환각률은 35점으로 의사결정 모델 중 두 번째였으며, d1은 2점이었습니다. Jev는 When2Call에서 81점으로 Celeris-1 Decision과 GLiDE의 84점에 못 미쳤고, WildGuardTest에서는 94점으로 Decider v1.1 27B와 같았습니다. GLiDE는 95점으로 Jev보다 1점 높았습니다.

의사결정 모델의 작업 100만 건당 비용은 17~199달러, 작업당 중앙값 소요 시간은 0.06~0.5초였습니다. Decider v1.1 27B는 작업 100만 건에 17달러, Microsoft-Decision-1은 31달러, Jev 1.13은 42달러였습니다. GLiDE는 54점을 받았지만 비용은 119달러로 Jev의 42달러보다 약 3배 높았습니다. Celeris-1 Decision은 작업당 0.06초로 가장 빨랐으며, Jev의 0.13초보다 2배 넘게 빨랐습니다. 비용은 현재 토큰 가격으로 계산했으며, 의사결정 모델에는 입력 토큰만, 언어 모델에는 입력·출력 토큰 모두 비용을 적용했습니다.

Artificial Analysis는 거의 모든 확률 구간에서 의사결정 모델이 과신하는 경향을 발견했습니다. 선택한 답변에 부여한 확률보다 실제 정확도가 낮았습니다. 회사는 지식과 추론 과제에서 보정이 약한 점이 이런 양상에 영향을 준다고 설명했습니다. 대부분의 모델은 When2Call과 WildGuardTest에서는 비교적 잘 보정됐습니다. 의사결정 모델의 비환각률은 Microsoft-Decision-1이 40%로 가장 높았고, Jev 1.13은 35%, Mercury Decide는 32%였습니다. 나머지 의사결정 모델은 17%에 이르지 못했습니다.

비교에서 언어 모델은 지식·추론 점수가 더 높았지만 속도가 느리고 비용이 더 많이 들었습니다. Claude Haiku 5.5 (Low)는 지수에서 Jev보다 3점 높은 61점을 기록했지만, 작업당 1.4초가 걸려 Jev의 0.13초보다 11배 넘게 느렸고, 작업 100만 건당 184달러로 Jev의 42달러보다 4.4배 비쌌습니다. GPT-6 Luna (Low)는 Jev보다 낮은 55점을 받았고, 작업당 1.5초, 작업 100만 건당 131달러가 들었습니다. 지식 정확도는 Claude가 52점, GPT-6 Luna가 66점으로 의사결정 모델의 28~41점보다 높았습니다. HLE-MultiChoice에서는 각각 24점과 22점을 기록했습니다. Jev는 21점, 다른 의사결정 모델은 모두 15점 이하였습니다. 분류에서는 GLiDE가 95점, Decider v1.1 27B와 Jev가 94점으로 Claude의 93점과 GPT-6 Luna의 89점보다 높았습니다. 도구 호출에서는 Celeris-1 Decision과 GLiDE가 84점, GPT-6 Luna가 77점, Claude가 73점이었습니다.

Artificial Analysis가 2026년 10월 13일, 정해진 선택지 가운데 하나를 고르고 한 번의 호출로 각 선택지의 확률을 제시하는 모델들을 비교하는 Decision Index v1.0을 공개했습니다. 이 지수는 분류, 도구 호출, 지식, 환각, 추론을 아우르는 네 가지 평가를 결합합니다. 회사는 개발자와 기업이 의사결정 모델 및 언어 모델의 역량, 비용, 속도를 비교하도록 돕기 위한 지수라고 밝혔습니다.

의사결정 모델은 선택지와 그 확률을 구조화해 반환하므로, 평가자는 보정도 측정할 수 있습니다. 보정은 모델의 확신도와 실제 정답률이 얼마나 일치하는지를 뜻합니다. 지수에 포함된 AA-Omniscience-Decision은 Artificial Analysis의 지식·환각 벤치마크를 바탕으로 만든 비공개 문항 500개를 사용하며, 정확도와 비환각률은 각각 지수의 12.5%를 차지합니다. HLE-MultiChoice는 Humanity’s Last Exam의 텍스트 전용 문항 513개를 사용합니다. When2Call은 모델이 직접 답하거나 도구를 호출하거나, 추가 정보를 요청하거나, 답변을 거부하는지를 평가합니다. WildGuardTest는 사용자 요청과 보조자 답변이 유해한지 또는 거부에 해당하는지 평가합니다. 각 평가는 지수의 25%를 차지합니다. Artificial Analysis는 언어 모델에도 같은 시험을 적용하지만, 언어 모델은 구조화된 선택지는 반환해도 선택지별 확률은 제시하지 않습니다.

의사결정 모델 순위에서는 Jev 1.13이 58점으로 1위, GLiDE와 Microsoft-Decision-1이 각각 54점으로 뒤를 이었습니다. Jev는 HLE-MultiChoice에서 21점을 얻었고, 다른 의사결정 모델은 모두 15점 이하였습니다. AA-Omniscience-Decision에서 Jev의 정확도는 35점으로 대부분의 의사결정 모델과 d1의 최고점 41점보다 낮았습니다. Jev의 비환각률은 35점으로 의사결정 모델 중 두 번째였으며, d1은 2점이었습니다. Jev는 When2Call에서 81점으로 Celeris-1 Decision과 GLiDE의 84점에 못 미쳤고, WildGuardTest에서는 94점으로 Decider v1.1 27B와 같았습니다. GLiDE는 95점으로 Jev보다 1점 높았습니다.

의사결정 모델의 작업 100만 건당 비용은 17~199달러, 작업당 중앙값 소요 시간은 0.06~0.5초였습니다. Decider v1.1 27B는 작업 100만 건에 17달러, Microsoft-Decision-1은 31달러, Jev 1.13은 42달러였습니다. GLiDE는 54점을 받았지만 비용은 119달러로 Jev의 42달러보다 약 3배 높았습니다. Celeris-1 Decision은 작업당 0.06초로 가장 빨랐으며, Jev의 0.13초보다 2배 넘게 빨랐습니다. 비용은 현재 토큰 가격으로 계산했으며, 의사결정 모델에는 입력 토큰만, 언어 모델에는 입력·출력 토큰 모두 비용을 적용했습니다.

Artificial Analysis는 거의 모든 확률 구간에서 의사결정 모델이 과신하는 경향을 발견했습니다. 선택한 답변에 부여한 확률보다 실제 정확도가 낮았습니다. 회사는 지식과 추론 과제에서 보정이 약한 점이 이런 양상에 영향을 준다고 설명했습니다. 대부분의 모델은 When2Call과 WildGuardTest에서는 비교적 잘 보정됐습니다. 의사결정 모델의 비환각률은 Microsoft-Decision-1이 40%로 가장 높았고, Jev 1.13은 35%, Mercury Decide는 32%였습니다. 나머지 의사결정 모델은 17%에 이르지 못했습니다.

비교에서 언어 모델은 지식·추론 점수가 더 높았지만 속도가 느리고 비용이 더 많이 들었습니다. Claude Haiku 5.5 (Low)는 지수에서 Jev보다 3점 높은 61점을 기록했지만, 작업당 1.4초가 걸려 Jev의 0.13초보다 11배 넘게 느렸고, 작업 100만 건당 184달러로 Jev의 42달러보다 4.4배 비쌌습니다. GPT-6 Luna (Low)는 Jev보다 낮은 55점을 받았고, 작업당 1.5초, 작업 100만 건당 131달러가 들었습니다. 지식 정확도는 Claude가 52점, GPT-6 Luna가 66점으로 의사결정 모델의 28~41점보다 높았습니다. HLE-MultiChoice에서는 각각 24점과 22점을 기록했습니다. Jev는 21점, 다른 의사결정 모델은 모두 15점 이하였습니다. 분류에서는 GLiDE가 95점, Decider v1.1 27B와 Jev가 94점으로 Claude의 93점과 GPT-6 Luna의 89점보다 높았습니다. 도구 호출에서는 Celeris-1 Decision과 GLiDE가 84점, GPT-6 Luna가 77점, Claude가 73점이었습니다.