Korean Hate Speech

韓国語高いほど良い

韓国の芸能ニュースのコメントを見て、ヘイト表現かどうかを判断する試験です。モデルがヘイト表現を生み出すかではなく、見分ける正確さを見ます。Horangiは全問題ではなく固定された100問だけを解かせるため、データセット全体で測ったスコアとは直接比較できません。スコアは0〜100%です。高いほど良い結果です。

最高スコア78.0%Claude Fable 5
測定したモデル48件
最終更新2026.08.03
モデルのリリース時期(右が最新)
その時点の最高記録上ほど良い
  1. 1
    Anthropic2026.06.09 · high-effort
    78.0%
  2. 2
    Anthropic2025.10.15 · high-effort
    76.0%
  3. 3
    Anthropic2025.05.22 · high-effort
    71.0%
  4. 4
    DeepSeek2025.12.01 · high-effort
    70.0%
  5. 4
    xAI2025.11.19
    70.0%
  6. 6
    Mistral AI2026.04.28
    69.0%
  7. 6
    Z.ai2026.03.15
    69.0%
  8. 8
    Anthropic2026.02.17 · high-effort
    67.0%
  9. 8
    Alibaba2026.02.16
    67.0%
  10. 8
    Mistral AI2026.03.16
    67.0%

「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。