KMMLU-Pro
引用多め韓国語高いほど良い
医療・法律・税務・会計など、韓国の国家専門資格試験14種から取った多肢選択問題です。論文では資格ごとの合否も見ていますが、ここでの値は単純な正答率です。Horangiは全問題ではなく固定された100問だけを解かせるため、データセット全体で測ったスコアとは直接比較できません。スコアは0〜100%です。高いほど良い結果です。
最高スコア95.0%Claude Opus 4.8
測定したモデル48件
最終更新2026.08.03
モデルのリリース時期(右が最新)
その時点の最高記録上ほど良い
順位モデル実行条件リリース日価格/1Mスコア
- 1high-effort2026.05.27$2095.0%
- 1max-effort2026.07.09$1695.0%
- 3xhigh-effort2026.04.23$2494.0%
- 4high-effort2025.12.17$2.3893.0%

- 5max-effort2026.07.09$9.5091.0%
- 5xhigh-effort2026.03.05$1291.0%
- 7high-effort2026.06.30$890.0%
- 7max-effort2026.07.09$0.9590.0%
- 92026.05.19$7.1389.9%

- 9high-effort2026.02.19$9.5089.9%

「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。