日本語の判断テストでJevが79.4点:GPT-6.1 Solとの差、速度と費用をAIBが実測

日本語の判断テストで、Jev 1.13は79.4点。GPT-6.1 Solの78.6点、Claude Sonnet 5.5の73.9点を上回りました。 問い合わせの振り分けやAIの回答チェックを毎日繰り返す企業にとって、注目したい結果です。
AIBが公開したAIB DecisionBench-KJは、日本語・韓国語で判断型AIを直接比較するベンチマークです。高性能な汎用AIにどこまで近づいたのか。速度や費用も含め、自社の業務に合う選び方を見ていきます。
AIBが実測した日本語・韓国語の判断力
判断型AIは、問い合わせが「配送・返金・決済」のどれに当たるか、回答が根拠と合っているかなど、答えの範囲が決まった問いに、選択結果や確率、点数を返します。長い文章を作る必要のない工程に集中するAIです。
仕組みはChatGPTとは正反対のAI、新モデル「Jev」はなぜ注目されているのか?、競争と導入の考え方は判断型AIの競争、JevからOpenAI・Layaへ:企業の活用はどう変わる?で紹介しました。今回は、実際の成績を確かめます。
2026年10月4日時点のバージョン0.2では、公開データ8種の共通の2,000問を使い、判断型AI7モデルと汎用LLM2モデルを比較しています。 基準モデルはGPT-6.1 SolとClaude Sonnet 5.5です。判断型の6モデルは全評価を完了し、測定途中のMercury Decideは順位から除外しています。
冒頭の日本語スコアは、日本語問題を含む5データセットについて、それぞれの日本語部分の正答率を同じ重みで平均した値です。全問の正解数を単純に合算した正答率とは異なります。JevとGPT-6.1 Solの差は0.8点。今回の公開データでの結果として、業務別の内訳と合わせて見ることが大切です。
高性能モデルに迫る四つの業務
最先端の性能を競う汎用AIは「フロンティアモデル」と呼ばれます。今回の比較では、一部の判断課題で、判断型AIがこうしたモデルと同等か近い成績を出しました。
- AIの回答チェック: 二つの回答から良い方を選ぶ日韓のM-RewardBenchで、Jev 1.13は86.4%、GPT-6.1 Solは88.4%。差は2.0ポイントでした
- 根拠との整合性: 韓国語のKLUE NLIと日本語のJGLUE JNLIを合わせた評価で、Perplexity Decider v1 27Bは91.2%。Claude Sonnet 5.5と同じ正答率でした
- 文章を読んで「はい・いいえ」を判断: 韓国語のKoBEST BoolQ 100問で、Jev 1.13は100%、GPT-6.1 Solは99%でした
- 肯定・否定の感情分類: 韓国語のKoBEST SentiNeg 60問で、Perplexity Decider v1 27B・Solar Decide・D1は98.3%。GPT-6.1 Solと同じでした
後半の二つは韓国語課題の結果です。自社の日本語文書で同じ成績が出るとは限りませんが、回答候補のチェックや文書分類のうち、何から試すかを決める材料になります。
Jevの処理時間は約9分の1、費用は38分の1
日韓を合わせた総合スコアは、データセットごとの正答率を同じ重みで平均しています。判断型1位のJev 1.13は78.6点、GPT-6.1 Solは83.9点で、全体では5.3点の差がありました。
一方、速度と費用を見ると、選び方が変わります。以下は日本語だけでなく、日韓の全体評価の値です。
- 1,000件換算の処理時間: Jevは3分45秒、GPT-6.1 Solは34分25秒。Jevの所要時間は約9分の1です。平均応答時間に1,000を掛けた、順次処理を想定する推計値です
- 1,000件当たりの記録費用: Jevは約0.022米ドル、GPT-6.1 Solは約0.826米ドル。Jevは約38分の1でした
費用は保存された応答に基づく集計で、再試行前の失敗リクエストの費用が一部含まれない場合があります。実際の運用では、再試行や人による確認の費用も加えて考える必要があります。
顧客に見せる回答は高性能モデルが作成し、その前の分類やチェックは判断型AIに任せる。必要な正確さを満たす工程から分担すれば、費用と待ち時間を減らせる余地が生まれます。
費用・確率・言語で異なる強み
全評価を終えた有料の判断型モデルでは、D1の記録費用が1,000件当たり0.0075米ドルで最安でした。一時的に無料のモデルは、この価格比較から除いています。
Perplexity Decider v1 27Bは、全評価を終えた判断型モデルの中で、確率の較正が最も正確でした。 確信度と実際の正答率のずれを測る指標「ECE」は2.3ポイント。「90%の確信」をどこまで信頼できるかを示す指標で、曖昧な結果を人に回す基準を考える際に役立ちます。
韓国語も扱う企業には、UpstageのSolar Decideも注目候補です。韓国語のヘイト表現を判定するK-MHaS 250問で83.6%を記録し、Jev 1.13の75.6%を上回り、評価を完了した判断型6モデルで1位でした。同じ課題のGPT-6.1 Solは96.4%で、得意な言語でも業務によって差は残ります。
自社の仕事で必要な正確さ、応答時間、費用、確率の信頼性。 何を重視するかで、適したモデルは変わります。
自社に合うAIの選び方
毎日繰り返す仕事の中で、長い文章ではなく、一つ選ぶだけで次へ進める工程は何でしょうか?
まずAIB DecisionBench-KJで、試したい用途に合う候補を探してみてください。次に、個人情報をできるだけ取り除いた実際の業務例と、人が決めた正解を用意し、同じ条件で比較します。
正答率と一緒に、重要な案件の見落とし率、待ち時間、担当者が修正する時間を記録しましょう。人の確認を減らす効果が見えた工程から使い、返金や契約など影響の大きい判断には承認を残すのがよいでしょう。
AIBは、日本語と韓国語で働く企業がこうした違いを確かめ、仕事と予算に合うAIを選べるよう、比較の基準を積み重ねていきます。
AIB DecisionBench-KJ:日本語・韓国語の判断型(Decision)AIベンチマーク | AIB
AIの業務導入をAIBとともに
AIBは、特定のAI企業に偏らない独立したAI比較プラットフォームを運営するスタートアップです。情報や費用の違いが活用の格差につながらないよう、仕事と予算に合う選択を支援したいと考えています。
繰り返す仕事にどのAIを組み込むか、今の費用や待ち時間をどう減らすか。そうしたお悩みをお聞かせください。
出典・参考資料
あわせて読みたい
AIモデル比較・レビューに関連する記事をもっと見る →
DeepSeekは今使っても大丈夫?最新V4.1と個人情報をめぐる問題を総整理
DeepSeekを「安いけれど不安な中国のAI」とだけ覚えているなら、新たな選択肢を見逃しているかもしれません。推論AIの性能とモデルの公開方法で注目を集めたDeepS…

生成せずに「選ぶ」AI:Decision Model 100超の系譜・性能・コストを分析
顧客の問い合わせをどのチームに回すか、文書が審査基準を満たしているか、今の作業を続けるか人に引き継ぐか。こうした業務でまず必要なのは、長い説明よりも決められた選択肢のう…

Gemini 4 Argonとは?性能・利用条件とAI競争への影響
業務をこなすAIの評価で首位に立ったGemini 4 Argon。しかし、今すぐ誰でもGeminiアプリで使えるわけではありません。高い性能を発表することと、安心して仕…

GPT-6 AstraからWork・Codexまで、ChatGPTをまるごと理解する
「GPT-6 Astraが最近すごいらしいけど、ChatGPTとは別物なんですか?」 「Codexってまた別のAI? コーディングならCodexがいいって聞いたけど。」…