Arena Hard Prompts

무엇을 측정하나요?
쉬운 질문을 빼고 어려운 질문만 남겨 다시 센 순위입니다. 전문 지식·복잡한 추론·정확성이 필요한 질문에서 어느 AI 가 선호됐는지를 봅니다.
누가 어떻게 평가하나요?
Arena Intelligence 에서 사용자가 질문을 넣으면 이름을 가린 두 AI 가 답하고, 더 나은 쪽에 투표합니다. 누적 8,200만 표 이상의 투표를 통계 모델(Bradley-Terry)로 집계해 Elo 처럼 보이는 점수로 환산하며, 이 표는 길고 화려하게 꾸민 답을 선호하는 편향을 통계로 걷어낸 '스타일 보정본' 을 공식 데이터셋에서 가져옵니다. 구체성·전문성·추론 단계·기술적 정확성 등 7개 기준으로 평가해 상위 약 1/3 에 드는 질문만 집계합니다.
점수 읽는 법
시험 점수(정답률 %)가 아니라 대결 성적입니다. 다른 AI 와 맞붙어 선택된 확률로 계산되므로 만점이 없고, 새 AI 가 들어오면 기존 AI 의 점수도 조금씩 움직입니다. 보통 1,000~1,500 사이이며, 두 AI 의 점수 차가 100점이면 앞선 쪽이 약 64%, 200점이면 약 76% 확률로 선택된다는 뜻입니다. 정답을 맞혔는지는 세지 않아 틀린 답도 설명이 친절하면 이길 수 있으므로, 정확성이 중요한 용도라면 정답률 시험(GPQA·AIME 등)을 함께 보는 것이 좋습니다. 점수 차가 수십 점 이내면 순위가 달라도 사실상 같은 등급으로 보는 편이 안전합니다. 종합 순위와 차이가 큰 AI 는 쉬운 질문과 어려운 질문에서 실력이 다르다는 뜻입니다.

순위

최고 점수1547
측정한 모델108개
측정 기준높을수록 좋음
최근 갱신2026.11.19
모델 출시 시기
  1. 1
    Google2026.10.28
    1547
  2. 2
    Google2026.09.30
    1544
  3. 3
    Google2026.11.18
    1542
  4. 4
    Meta2026.10.12
    1531
  5. 5
    Anthropic2026.09.22
    1530
  6. 6
    Anthropic2026.06.09
    1530
  7. 7
    Anthropic2026.02.04
    1526
  8. 8
    Anthropic2026.09.01
    1522
  9. 9
    Anthropic2026.04.16
    1519
  10. 10
    Meta2026.09.02
    1518

최근 60일 내 출시된 AI 59개 중 44개는 아직 이 지표에 반영되지 않았습니다 · Microsoft-Decision-1.1, d1.2, d1.2-ultra 외 41개

선호 투표 기반 지표로, 정답 여부는 평가하지 않습니다. 오답이라도 설명이 충실하면 높은 평가를 받을 수 있습니다.

질문의 구성은 투표 참여자에 따라 달라지므로, 실제 용도와 다른 질문이 포함될 수 있습니다.

'제조사 발표' 표시가 있는 점수는 AI 개발사가 자체 발표한 수치로, 제3자 측정값이 아닙니다.

카톡 문의