Jev는 어떤 업무에서 GPT급일까? 판단형 AI 성능·비용 직접 비교
AI 답변 검수 시험에서 Jev 1.13과 GPT-6.1 Sol의 정답률 차이는 2.0%p였습니다. 그리고 전체 평가에서 Jev의 1천 건 환산 처리 시간은 약 9배 짧고, 기록 비용은 약 38분의 1이었습니다. 매일 반복되는 판단에 AI를 쓰는 기업이라면 눈여겨볼 결과입니다.
에이아이비(AIB)가 공개한 AIB DecisionBench-KJ는 한국어·일본어로 판단형 AI를 직접 비교합니다. 특정 업무에서 최상위 범용 AI에 근접한 판단형 모델이 어느 정도의 속도와 비용으로 작동하는지, 우리 업무에는 어떤 선택이 유리한지 살펴봅니다.
AIB가 직접 비교한 한국어·일본어 판단형 AI
판단형 AI는 문의가 ‘배송·환불·결제’ 중 어디에 속하는지, 답변이 근거와 맞는지처럼 답의 범위가 정해진 질문에 선택이나 확률, 점수를 반환합니다. 긴 설명을 만들지 않아도 되는 단계에 집중하는 AI입니다.
원리는 챗GPT와 정반대의 AI, 새로운 모델 ‘Jev’는 왜 주목받고 있을까?에서, 경쟁과 도입 방향은 판단형 AI 경쟁, Jev에서 OpenAI·Laya까지: 기업의 활용법은 어떻게 달라질까?에서 다뤘습니다. 이번에는 실제 성적을 살펴봅니다.
2026년 10월 4일 기준 0.2 버전은 공개 데이터 8종, 같은 2,000문항을 기준으로 판단형 AI 7종과 범용 LLM 2종을 비교합니다. 기준 모델은 GPT-6.1 Sol과 Claude Sonnet 5.5입니다. 판단형 가운데 6종은 전체 평가를 마쳤고, 아직 측정 중인 Mercury Decide는 순위에서 제외했습니다.
프론티어 모델에 근접한 네 가지 업무
최상위 성능을 겨루는 범용 AI를 ‘프론티어 모델’이라고 부릅니다. 이번 비교에서는 일부 판단 과제에서 판단형 AI가 프론티어 모델과 같거나 근접한 점수를 냈습니다.
- AI 답변 검수: 두 답변 중 더 나은 쪽을 고르는 한국어·일본어 M-RewardBench에서 Jev 1.13은 86.4%, GPT-6.1 Sol은 88.4%였습니다. 차이는 2.0%p였습니다
- 근거와 맞는지 확인: 한국어 KLUE NLI·일본어 JGLUE JNLI를 묶은 평가에서 Perplexity Decider v1 27B는 91.2%로, Claude Sonnet 5.5와 같았습니다
- 지문을 읽고 예·아니오 답하기: 한국어 KoBEST BoolQ 100문항에서 Jev 1.13은 100%, GPT-6.1 Sol은 99%였습니다
- 긍정·부정 감정 분류: 한국어 KoBEST SentiNeg 60문항에서 Perplexity Decider v1 27B·Solar Decide·D1은 98.3%로 GPT-6.1 Sol과 같았습니다
이 점수는 해당 공개 데이터 과제의 결과입니다. 실제 사내 문서에서도 같은 성적이 나온다는 보장은 없지만, 답변 후보 검수나 문서 분류 중 무엇부터 시험할지 정하는 출발점은 됩니다.
Jev, 9배 빠른 처리·38분의 1 비용
데이터셋별 정답률을 같은 비중으로 평균한 종합 정확도에서는 판단형 1위 Jev 1.13이 78.6점, GPT-6.1 Sol이 83.9점이었습니다. 특정 과제에서는 근접했지만, 전체적으로는 5.3점 차이가 남았습니다.
비용과 속도를 놓고 보면 선택의 의미가 달라집니다.
- 1천 건 환산 처리 시간: Jev는 3분 45초, GPT-6.1 Sol은 34분 25초로 약 9배 차이입니다. 평균 응답 시간에 1,000을 곱한 순차 처리 기준입니다
- 1천 건당 기록 비용: Jev는 약 0.022달러, GPT-6.1 Sol은 약 0.826달러로, Jev가 약 38분의 1 수준입니다
비용은 저장된 응답 기준이며, 재시도 전 실패 요청의 비용은 일부 제외될 수 있습니다. 실제 운영비에는 재시도와 사람의 검토 비용도 더해야 합니다.
고객에게 보여 줄 최종 답변은 고성능 모델이 쓰고, 앞단의 반복 분류·검수는 판단형 AI에 맡길 수 있습니다. 필요한 정확도를 충족한 단계부터 나누면 비용과 대기 시간을 줄일 여지가 생깁니다.
비용·확률·한국어, 모델마다 다른 강점
전체 평가를 마친 판단형 모델 가운데 D1의 기록 비용은 1천 건당 0.0075달러로 가장 낮았습니다. 일시 무료인 모델은 이 가격 비교에서 제외합니다.
Perplexity Decider v1 27B는 평가를 마친 판단형 모델 중 확률 보정이 가장 정확했습니다. 확신도와 실제 정답률의 어긋남을 보는 지표(ECE)는 2.3%p였습니다. AI가 말하는 ‘90% 확신’을 얼마나 믿을 수 있는지 보는 지표입니다. 애매한 결과를 사람에게 넘길 기준을 정할 때 참고할 수 있습니다.
한국어의 특정 표현에서는 업스테이지 Solar Decide의 강점도 보였습니다. 한국어 혐오 표현 판별 K-MHaS 250문항에서 83.6%로, Jev 1.13의 75.6%를 앞서며 평가를 마친 판단형 6종 중 1위였습니다. 같은 과제의 GPT-6.1 Sol은 96.4%였으므로, 한국어 강점 역시 업무별 격차를 함께 보고 판단해야 합니다.
우리 업무의 정확도, 응답 시간, 비용, 확률의 신뢰도에 따라 유리한 모델이 달라집니다.
우리 업무에 맞는 모델을 고르는 순서
매일 반복하는 업무 중, 긴 문장이 아니라 선택 하나만 있으면 다음 단계로 넘어갈 수 있는 일은 무엇인가요?
AIB DecisionBench-KJ의 ‘활용 용도별’ 항목에서 후보를 고르세요. 그다음 개인정보를 줄인 실제 업무 사례와 사람이 정한 정답으로 같은 조건에서 비교하면 됩니다.
정답률과 함께 중요한 사례를 놓친 비율, 기다린 시간, 직원이 고치는 시간을 기록하세요. 사람이 확인할 건을 줄이는 데 효과가 있는 모델부터 적용하고, 환불·계약처럼 영향이 큰 결정은 승인 단계를 유지하는 것이 좋습니다.
AIB는 한국어와 일본어로 일하는 기업이 이런 차이를 직접 확인하고, 업무와 예산에 맞는 AI를 고를 수 있도록 비교 기준을 쌓아가겠습니다.
AIB DecisionBench-KJ: 한국어·일본어 판단형(Decision) AI 벤치마크 | AIB
AI 업무 도입, AIB와 함께
에이아이비(AIB)는 특정 AI 회사에 치우치지 않는 독립적인 AI 비교 플랫폼을 운영하는 신생 스타트업입니다. 정보와 비용의 차이가 AI 활용의 격차로 이어지지 않도록, 업무와 예산에 맞는 선택을 돕고자 합니다.
반복 업무에 어떤 AI를 연결할지, 현재의 비용과 대기 시간을 어떻게 줄일지 고민이라면 함께 이야기해 주세요.