Artificial Analysis, Decision Index v2 공개

Artificial Analysis가 2026년 11월 8일 Decision Index v2를 공개하고, 정답과 신뢰도 보정을 함께 반영하는 종합 점수를 도입했습니다. 비공개 데이터셋 비중은 v1의 25%에서 45%로 늘었습니다. Nace AI의 Drex Max v1.1과 Fastino Labs의 GLiDE v1.2가 각각 73점을 기록했고, Mammoth 27B는 72점으로 상위 세 의사결정 모델의 점수 차이는 1점 이내였습니다.

새 Decision Score는 문항별로 0~100점을 부여합니다. 정답은 50점 초과, 오답은 50점 미만이며, 답변의 확신도에 따라 각 구간 안에서 점수가 달라집니다. 평가 전체의 점수는 50 × (1 + 정확도 − 브라이어 점수)로, 특정 신뢰도 기준선을 하나 정하지 않고 여러 기준에서 평균 보상을 측정합니다. AA-Paperclip에서 Clef는 문서의 36%, Celeris-1.1 Decision은 24%를 원시 정확도로 통과했지만, Celeris의 브라이어 점수가 0.15로 Clef의 0.27보다 낮아 두 모델의 Decision Score는 같았습니다. Index 전체 정확도에서는 GLiDE가 60점으로 Drex의 58점보다 앞섰지만, 종합 Decision Index 순위는 Drex가 더 높았습니다.

개정된 Index에는 이력서, 영수증, 송장, AI 연구 논문을 포함한 문서 1,500건으로 구성된 비공개 벤치마크 AA-Paperclip이 추가됐습니다. 각 문서에는 결정 과제 5개와 추출할 사실 10개가 있으며, 15개 답을 모두 맞혀야 문서를 통과합니다. Claude Haiku 5.5 (Max)는 문서 92%, GPT-6 Luna (Max)는 86%를 통과했습니다. 의사결정 모델 중에는 Drex Max v1.1이 63%, GLiDE v1.2가 62%, Decider v1.2가 55%를 기록했습니다. Drex는 개별 문항의 97%를 맞혀 Claude의 99%에 가까웠지만 통과 문서는 더 적었습니다. 문서 71%에서 결정 5개를 모두 맞혔고, 88%에서 추출 항목 10개를 모두 맞혔습니다.

AA-Symmetry는 기본 질문 120개와 보기 순서 변경, 선택지 표기 교체, 예·아니요 질문의 부정형 전환을 적용한 변형 질문 440개로 일관성을 측정합니다. Mammoth 27B는 96점, Elephant 9B는 93점을 받았습니다. 변형 질문에서도 같은 답을 고른 비율은 Mammoth 99%, Drex 91%, GLiDE 88%, Clef 67%였습니다. Index는 EvalSafe-ONET-AA의 비중을 15%로 반영하며, AA-Omniscience-Decision과 HLE-MultiChoice의 비중은 각각 25%에서 15%로, NVIDIA의 When2Call은 25%에서 10%로 낮췄습니다. 포화도가 높다는 이유로 WildGuardTest는 제외됐습니다.

의사결정 모델의 작업 100만 건당 비용은 60배 이상 차이 납니다. Celeris-1.1 Decision은 14달러, Decider v1.2는 68달러, Drex Max v1.1은 102달러, Clef는 859달러입니다. GLiDE는 780달러로 Drex보다 거의 8배 비싸지만, 표시 가격 차이는 33%에 그칩니다. GLiDE는 모든 질문마다 문서 입력 비용을 청구하며, AA-Paperclip 작업 하나에 입력 토큰 약 63,000개를 사용합니다. Drex는 약 9,000개를 사용합니다. Decider Flash v1.2는 토큰 가격이 절반인데도 작업 100만 건당 196달러로 Decider v1.2의 거의 3배입니다. GPT-6 Luna (Max)는 76점, Claude Haiku 5.5 (Max)는 77점으로 Drex보다 약 3점 높았지만, GPT-6 Luna는 작업 100만 건당 1,530달러와 작업당 11.34초가 들었습니다. Drex는 102달러와 275밀리초였습니다. 작업 시간이 가장 짧은 모델은 Celeris로 56밀리초였고, Elephant는 70밀리초, Jev 1.14는 92밀리초였습니다. Mammoth는 GPT-6 Luna보다 4점 이내의 점수를 기록하면서 속도는 118배 빨랐습니다.

Artificial Analysis가 2026년 11월 8일 Decision Index v2를 공개하고, 정답과 신뢰도 보정을 함께 반영하는 종합 점수를 도입했습니다. 비공개 데이터셋 비중은 v1의 25%에서 45%로 늘었습니다. Nace AI의 Drex Max v1.1과 Fastino Labs의 GLiDE v1.2가 각각 73점을 기록했고, Mammoth 27B는 72점으로 상위 세 의사결정 모델의 점수 차이는 1점 이내였습니다.

새 Decision Score는 문항별로 0~100점을 부여합니다. 정답은 50점 초과, 오답은 50점 미만이며, 답변의 확신도에 따라 각 구간 안에서 점수가 달라집니다. 평가 전체의 점수는 50 × (1 + 정확도 − 브라이어 점수)로, 특정 신뢰도 기준선을 하나 정하지 않고 여러 기준에서 평균 보상을 측정합니다. AA-Paperclip에서 Clef는 문서의 36%, Celeris-1.1 Decision은 24%를 원시 정확도로 통과했지만, Celeris의 브라이어 점수가 0.15로 Clef의 0.27보다 낮아 두 모델의 Decision Score는 같았습니다. Index 전체 정확도에서는 GLiDE가 60점으로 Drex의 58점보다 앞섰지만, 종합 Decision Index 순위는 Drex가 더 높았습니다.

개정된 Index에는 이력서, 영수증, 송장, AI 연구 논문을 포함한 문서 1,500건으로 구성된 비공개 벤치마크 AA-Paperclip이 추가됐습니다. 각 문서에는 결정 과제 5개와 추출할 사실 10개가 있으며, 15개 답을 모두 맞혀야 문서를 통과합니다. Claude Haiku 5.5 (Max)는 문서 92%, GPT-6 Luna (Max)는 86%를 통과했습니다. 의사결정 모델 중에는 Drex Max v1.1이 63%, GLiDE v1.2가 62%, Decider v1.2가 55%를 기록했습니다. Drex는 개별 문항의 97%를 맞혀 Claude의 99%에 가까웠지만 통과 문서는 더 적었습니다. 문서 71%에서 결정 5개를 모두 맞혔고, 88%에서 추출 항목 10개를 모두 맞혔습니다.

AA-Symmetry는 기본 질문 120개와 보기 순서 변경, 선택지 표기 교체, 예·아니요 질문의 부정형 전환을 적용한 변형 질문 440개로 일관성을 측정합니다. Mammoth 27B는 96점, Elephant 9B는 93점을 받았습니다. 변형 질문에서도 같은 답을 고른 비율은 Mammoth 99%, Drex 91%, GLiDE 88%, Clef 67%였습니다. Index는 EvalSafe-ONET-AA의 비중을 15%로 반영하며, AA-Omniscience-Decision과 HLE-MultiChoice의 비중은 각각 25%에서 15%로, NVIDIA의 When2Call은 25%에서 10%로 낮췄습니다. 포화도가 높다는 이유로 WildGuardTest는 제외됐습니다.

의사결정 모델의 작업 100만 건당 비용은 60배 이상 차이 납니다. Celeris-1.1 Decision은 14달러, Decider v1.2는 68달러, Drex Max v1.1은 102달러, Clef는 859달러입니다. GLiDE는 780달러로 Drex보다 거의 8배 비싸지만, 표시 가격 차이는 33%에 그칩니다. GLiDE는 모든 질문마다 문서 입력 비용을 청구하며, AA-Paperclip 작업 하나에 입력 토큰 약 63,000개를 사용합니다. Drex는 약 9,000개를 사용합니다. Decider Flash v1.2는 토큰 가격이 절반인데도 작업 100만 건당 196달러로 Decider v1.2의 거의 3배입니다. GPT-6 Luna (Max)는 76점, Claude Haiku 5.5 (Max)는 77점으로 Drex보다 약 3점 높았지만, GPT-6 Luna는 작업 100만 건당 1,530달러와 작업당 11.34초가 들었습니다. Drex는 102달러와 275밀리초였습니다. 작업 시간이 가장 짧은 모델은 Celeris로 56밀리초였고, Elephant는 70밀리초, Jev 1.14는 92밀리초였습니다. Mammoth는 GPT-6 Luna보다 4점 이내의 점수를 기록하면서 속도는 118배 빨랐습니다.