Arena Korean

한 줄 요약 · 한국어로 물었을 때 사람들이 더 좋아한 답을 낸 AI

무엇을 측정하나요?

한국어로 입력된 질문만 따로 모아 센 순위입니다. 영어 성적이 좋아도 한국어 표현과 맥락 이해가 떨어지는 AI 를 가려낼 수 있습니다.

누가 어떻게 평가하나요?

Arena Intelligence 에서 사용자가 질문을 넣으면 이름을 가린 두 AI 가 답하고, 더 나은 쪽에 투표합니다. 누적 8,200만 표 이상의 투표를 통계 모델(Bradley-Terry)로 집계해 Elo 처럼 보이는 점수로 환산하며, 이 표는 길고 화려하게 꾸민 답을 선호하는 편향을 통계로 걷어낸 '스타일 보정본' 을 공식 데이터셋에서 가져옵니다. 질문의 언어를 자동 감지해 한국어 질문만 집계합니다.

점수 읽는 법

시험 점수(정답률 %)가 아니라 대결 성적입니다. 다른 AI 와 맞붙어 선택된 확률로 계산되므로 만점이 없고, 새 AI 가 들어오면 기존 AI 의 점수도 조금씩 움직입니다. 보통 1,000~1,500 사이이며, 두 AI 의 점수 차가 100점이면 앞선 쪽이 약 64%, 200점이면 약 76% 확률로 선택된다는 뜻입니다. 정답을 맞혔는지는 세지 않아 틀린 답도 설명이 친절하면 이길 수 있으므로, 정확성이 중요한 용도라면 정답률 시험(GPQA·AIME 등)을 함께 보는 것이 좋습니다. 점수 차가 수십 점 이내면 순위가 달라도 사실상 같은 등급으로 보는 편이 안전합니다. 영어 종합 순위보다 표본이 작아 순위 변동이 크고, 한국어 순위는 다른 언어 순위와 상관이 낮은 편이라 따로 보는 것이 맞습니다.

마지막 업데이트: 2026-10-02