Arena Hard Prompts
- 무엇을 측정하나요?
- 쉬운 질문을 빼고 어려운 질문만 남겨 다시 센 순위입니다. 전문 지식·복잡한 추론·정확성이 필요한 질문에서 어느 AI 가 선호됐는지를 봅니다.
- 누가 어떻게 평가하나요?
- Arena Intelligence 에서 사용자가 질문을 넣으면 이름을 가린 두 AI 가 답하고, 더 나은 쪽에 투표합니다. 누적 8,200만 표 이상의 투표를 통계 모델(Bradley-Terry)로 집계해 Elo 처럼 보이는 점수로 환산하며, 이 표는 길고 화려하게 꾸민 답을 선호하는 편향을 통계로 걷어낸 '스타일 보정본' 을 공식 데이터셋에서 가져옵니다. 구체성·전문성·추론 단계·기술적 정확성 등 7개 기준으로 평가해 상위 약 1/3 에 드는 질문만 집계합니다.
- 점수 읽는 법
- 시험 점수(정답률 %)가 아니라 대결 성적입니다. 다른 AI 와 맞붙어 선택된 확률로 계산되므로 만점이 없고, 새 AI 가 들어오면 기존 AI 의 점수도 조금씩 움직입니다. 보통 1,000~1,500 사이이며, 두 AI 의 점수 차가 100점이면 앞선 쪽이 약 64%, 200점이면 약 76% 확률로 선택된다는 뜻입니다. 정답을 맞혔는지는 세지 않아 틀린 답도 설명이 친절하면 이길 수 있으므로, 정확성이 중요한 용도라면 정답률 시험(GPQA·AIME 등)을 함께 보는 것이 좋습니다. 점수 차가 수십 점 이내면 순위가 달라도 사실상 같은 등급으로 보는 편이 안전합니다. 종합 순위와 차이가 큰 AI 는 쉬운 질문과 어려운 질문에서 실력이 다르다는 뜻입니다.
순위
최고 점수1547
측정한 모델108개
측정 기준높을수록 좋음
최근 갱신2026.11.19
모델 출시 시기
순위모델출시일가격/1M점수
- 12026.10.28$81547

- 22026.09.30$81544

- 32026.11.18$121542

- 42026.10.12$161531
- 52026.09.22$161530
- 62026.06.09$401530
- 72026.02.04$201526
- 82026.09.01$401522
- 92026.04.16$201519
- 102026.09.02$3.501518
최근 60일 내 출시된 AI 59개 중 44개는 아직 이 지표에 반영되지 않았습니다 · Microsoft-Decision-1.1, d1.2, d1.2-ultra 외 41개
선호 투표 기반 지표로, 정답 여부는 평가하지 않습니다. 오답이라도 설명이 충실하면 높은 평가를 받을 수 있습니다.
질문의 구성은 투표 참여자에 따라 달라지므로, 실제 용도와 다른 질문이 포함될 수 있습니다.
'제조사 발표' 표시가 있는 점수는 AI 개발사가 자체 발표한 수치로, 제3자 측정값이 아닙니다.