Artificial Analysis, Intelligence Index v5 공개

Artificial Analysis가 10월 27일 Intelligence Index v5를 공개하며 벤치마크 2개를 추가하고 기존 평가 3개를 개선했습니다. 회사는 지수 평가의 60%가 비공개 시험 세트나 공개되지 않은 정답을 사용하게 됐다고 밝혔으며, 이번 개편이 1월 v4 출시 이후 가장 큰 업데이트라고 설명했습니다. 언어 모델의 역량 변화를 한 척도로 보여주기 위해 2022년 11월 이후 출시된 모델을 배치한 Progress Index v1도 공개했습니다.

새 평가 가운데 FrontierCode 2.0은 실제 오픈소스 저장소의 과제 132개로 코딩 능력을 측정하는 비공개 벤치마크입니다. Terminal-Bench-Science는 터미널에서 수행하는 과학 연구 과제 70개를 평가합니다. FrontierCode 과제는 AI 에이전트를 과제별로 실행하는 소프트웨어인 Stirrup에서 세 차례 실행되며, 필수 검사를 하나라도 통과하지 못하면 0점입니다. Terminal-Bench-Science는 모든 검사를 통과해야 과제를 완료한 것으로 봅니다. HLE-Diamond는 추론과 지식 문제를 각각 1,000개 중 절반씩 담도록 정제됐고, AA-Omniscience v1.1은 점수가 포화됐거나 공개된 문제를 빼고 모호하거나 잘못된 문제를 수정했습니다. CritPt v2에는 비공개 고난도 문제 40개가 쓰였습니다. AA-Briefcase, AutomationBench-AA, GDP.pdf, Terminal-Bench 4.0은 지수에 남았고, GDPval-AA v2.1, SciCode, AA-LCR v1.1은 제외됐습니다.

지수는 지식 업무, 코딩, 과학, 일반 분야에 각각 25%의 비중을 둡니다. Claude Opus 5.5가 58점으로 전체 1위이며 GPT-6 Astra는 57점, GPT-6.1 Sol은 55점입니다. Anthropic과 OpenAI 모델이 상위 5개 자리를 차지했고, Gemini 4 Argon은 50점으로 그 뒤를 이었습니다. Claude Opus 5.5는 FrontierCode 2.0에서 46%, HLE-Diamond에서 68%, AA-Omniscience v1.1에서 48%로 각각 선두를 기록했습니다. GPT-6 Astra는 Terminal-Bench-Science에서 63%, CritPt v2 고난도 문제에서 72%로 앞섰습니다. 9개 평가 모두에서 선두인 모델은 없었습니다.

오픈 웨이트 모델 중 최고 점수는 Kimi K3.1 Pro의 46점으로, 전체 선두보다 12점 낮습니다. v4.3에서 격차는 3점이었습니다. Kimi K3.1 Pro의 가중치는 공개되지 않았습니다. 가중치를 공개한 모델 중에는 DeepSeek V4.1 Flash 1017과 GLM-5.3이 32점으로 가장 높았고, Claude Haiku 5.5는 36점을 받았습니다. HLE-Diamond와 Terminal-Bench-Science에서 Kimi 점수는 각각 37%와 34%였으며, Claude Opus 5.5는 68%, GPT-6 Astra는 63%를 기록했습니다.

상위 10개 점수 모델의 지수 과제당 비용은 GPT-6.1 Terra의 0.96달러에서 Claude Fable 5.1의 13.04달러까지입니다. Claude Opus 5.5는 과제당 10.04달러, GPT-6 Astra는 6.24달러, GPT-6.1 Sol은 1.27달러입니다. GPT-6.1 Sol은 Claude Opus 5.5보다 점수가 4점 이내로 낮으면서 비용은 약 8분의 1입니다. 추론 노력 설정에 따라서도 점수와 비용이 달라집니다. Claude Opus 5.5는 낮은 노력 설정에서 35점, 최대 설정에서 58점을 받았고 비용은 0.98달러에서 10.04달러로 올랐습니다. Claude Sonnet 5.5의 낮은 설정과 최대 설정 간 점수 차이는 29점으로, v4.3의 20점보다 커졌습니다. GPT-6.1 Sol의 점수 차이는 10점에서 20점으로 두 배가 됐습니다.

측정 대상 모델은 모두 v4.3보다 과제당 더 많은 토큰을 출력했습니다. 중앙값은 35k에서 59k 토큰으로 3분의 2 늘었습니다. 에이전트형 평가 4개는 지수 가중치의 55%를 차지하지만 중앙 출력 토큰의 약 90%를 차지하며, Terminal-Bench-Science 하나만으로 과제당 토큰의 약 3분의 1이 발생합니다.

Artificial Analysis가 10월 27일 Intelligence Index v5를 공개하며 벤치마크 2개를 추가하고 기존 평가 3개를 개선했습니다. 회사는 지수 평가의 60%가 비공개 시험 세트나 공개되지 않은 정답을 사용하게 됐다고 밝혔으며, 이번 개편이 1월 v4 출시 이후 가장 큰 업데이트라고 설명했습니다. 언어 모델의 역량 변화를 한 척도로 보여주기 위해 2022년 11월 이후 출시된 모델을 배치한 Progress Index v1도 공개했습니다.

새 평가 가운데 FrontierCode 2.0은 실제 오픈소스 저장소의 과제 132개로 코딩 능력을 측정하는 비공개 벤치마크입니다. Terminal-Bench-Science는 터미널에서 수행하는 과학 연구 과제 70개를 평가합니다. FrontierCode 과제는 AI 에이전트를 과제별로 실행하는 소프트웨어인 Stirrup에서 세 차례 실행되며, 필수 검사를 하나라도 통과하지 못하면 0점입니다. Terminal-Bench-Science는 모든 검사를 통과해야 과제를 완료한 것으로 봅니다. HLE-Diamond는 추론과 지식 문제를 각각 1,000개 중 절반씩 담도록 정제됐고, AA-Omniscience v1.1은 점수가 포화됐거나 공개된 문제를 빼고 모호하거나 잘못된 문제를 수정했습니다. CritPt v2에는 비공개 고난도 문제 40개가 쓰였습니다. AA-Briefcase, AutomationBench-AA, GDP.pdf, Terminal-Bench 4.0은 지수에 남았고, GDPval-AA v2.1, SciCode, AA-LCR v1.1은 제외됐습니다.

지수는 지식 업무, 코딩, 과학, 일반 분야에 각각 25%의 비중을 둡니다. Claude Opus 5.5가 58점으로 전체 1위이며 GPT-6 Astra는 57점, GPT-6.1 Sol은 55점입니다. Anthropic과 OpenAI 모델이 상위 5개 자리를 차지했고, Gemini 4 Argon은 50점으로 그 뒤를 이었습니다. Claude Opus 5.5는 FrontierCode 2.0에서 46%, HLE-Diamond에서 68%, AA-Omniscience v1.1에서 48%로 각각 선두를 기록했습니다. GPT-6 Astra는 Terminal-Bench-Science에서 63%, CritPt v2 고난도 문제에서 72%로 앞섰습니다. 9개 평가 모두에서 선두인 모델은 없었습니다.

오픈 웨이트 모델 중 최고 점수는 Kimi K3.1 Pro의 46점으로, 전체 선두보다 12점 낮습니다. v4.3에서 격차는 3점이었습니다. Kimi K3.1 Pro의 가중치는 공개되지 않았습니다. 가중치를 공개한 모델 중에는 DeepSeek V4.1 Flash 1017과 GLM-5.3이 32점으로 가장 높았고, Claude Haiku 5.5는 36점을 받았습니다. HLE-Diamond와 Terminal-Bench-Science에서 Kimi 점수는 각각 37%와 34%였으며, Claude Opus 5.5는 68%, GPT-6 Astra는 63%를 기록했습니다.

상위 10개 점수 모델의 지수 과제당 비용은 GPT-6.1 Terra의 0.96달러에서 Claude Fable 5.1의 13.04달러까지입니다. Claude Opus 5.5는 과제당 10.04달러, GPT-6 Astra는 6.24달러, GPT-6.1 Sol은 1.27달러입니다. GPT-6.1 Sol은 Claude Opus 5.5보다 점수가 4점 이내로 낮으면서 비용은 약 8분의 1입니다. 추론 노력 설정에 따라서도 점수와 비용이 달라집니다. Claude Opus 5.5는 낮은 노력 설정에서 35점, 최대 설정에서 58점을 받았고 비용은 0.98달러에서 10.04달러로 올랐습니다. Claude Sonnet 5.5의 낮은 설정과 최대 설정 간 점수 차이는 29점으로, v4.3의 20점보다 커졌습니다. GPT-6.1 Sol의 점수 차이는 10점에서 20점으로 두 배가 됐습니다.

측정 대상 모델은 모두 v4.3보다 과제당 더 많은 토큰을 출력했습니다. 중앙값은 35k에서 59k 토큰으로 3분의 2 늘었습니다. 에이전트형 평가 4개는 지수 가중치의 55%를 차지하지만 중앙 출력 토큰의 약 90%를 차지하며, Terminal-Bench-Science 하나만으로 과제당 토큰의 약 3분의 1이 발생합니다.