Q1 多くの人に最も好まれる回答をするAIは? Arena Text · 下位5%104位 Q1 多くの人に最も好まれる回答をするAIは? Arena Text · 下位5%104位 Q2 幅広い専門分野の知識を持っている? MMLU-Pro · 下位43%17位 Q3 幅広い専門分野の知識を持っている? MMLU · Q4 旧版(v4)基準の知能指数はどのくらいだった? AA Intelligence Index v4 · 下位12%68位
Q1 下位5%104位 / 108 1335 Q2 81.8% Q3 77.0% Q4 13.4 Arena Textについて Arena Textについて詳しく
Q 顧客対応の仕事をルールどおりに処理できる? TAU2 · 下位32%55位
Q 顧客対応の仕事をルールどおりに処理できる? TAU2 · 下位32%55位
下位32%55位 / 79 75.7% 強度別 None 62.0% Low 71.9% Medium 75.7% High 72.8%
TAU2について TAU2について詳しく
Q1 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 下位15%105位 Q1 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 下位15%105位 Q2 多くの人に最も好まれるビジネスの回答をするAIは? Arena Business, Management & Finance · 下位7%102位
Q1 下位15%105位 / 121 60.3% Q2 1352 強度別 None 18.7% Low 54.3% Medium 60.0% High 60.3%
Long Context Reasoningについて Long Context Reasoningについて詳しく
Q 多くの人に好まれ、しかも間違いのない回答をするAIは? Arena Text Factuality · 下位4%100位
Q 多くの人に好まれ、しかも間違いのない回答をするAIは? Arena Text Factuality · 下位4%100位
下位4%100位 / 103 1379 Arena Text Factualityについて Arena Text Factualityについて詳しく
Q1 コーディングの回答で、多くの人に最も好まれているAIは? Arena Coding · 下位7%102位 Q1 コーディングの回答で、多くの人に最も好まれているAIは? Arena Coding · 下位7%102位 Q2 正解のない最適化問題で、よりよい答えを見つけられる? ALE-Bench · 下位4%88位 Q3 コンピューターを自分で操作して、開発の仕事をひとりで終えられる? Terminal-Bench 2.1 · 下位10%74位 Q1 下位7%102位 / 108 1393 Q2 236 Q3 16.1% Q4 17.4% Q5 23.0 Q6 71.1% Q7 24.0% Q8 1386 Arena Codingについて Arena Codingについて詳しく
Q1 多くの人に最も好まれる文章・文学の回答をするAIは? Arena Writing, Literature & Language · 下位4%105位 Q1 多くの人に最も好まれる文章・文学の回答をするAIは? Arena Writing, Literature & Language · 下位4%105位 Q2 会話が長くなったとき、多くの人に最も好まれるAIは? Arena Multi-turn · 下位4%105位 Q3 形式や長さなどの細かい条件を、漏れなく守れる? IFBench · 上位49%39位 Q1 下位4%105位 / 108 1298 Q2 1322 Q3 70.7% Q4 1270 Q5 1328 Q6 1283 Arena Writing, Literature & Languageについて Arena Writing, Literature & Languageについて詳しく
Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 下位14%106位 Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 下位14%106位 Q2 多くの人に最も好まれる数学の回答をするAIは? Arena Math · 下位4%101位 Q3 大学院レベルの科学の問題を解ける? GPQA Diamond · 下位30%74位 Q1 下位14%106位 / 122 11.6% Q2 1329 Q3 81.1% Q4 94.3 Q5 94.3% Q6 1357 Q7 1344 強度別 None 2.9% Low 4.0% Medium 9.0% High 11.6%
Humanity's Last Examについて Humanity's Last Examについて詳しく
Q 大学レベルの図や表の問題を解ける? MMMU-Pro · 下位6%36位
Q 大学レベルの図や表の問題を解ける? MMMU-Pro · 下位6%36位
下位6%36位 / 37 61.8% 開発元の自社発表 MMMU-Proについて MMMU-Proについて詳しく
Q1 韓国語で聞いたとき、多くの人に最も好まれるAIは? Arena Korean · 下位3%90位 Q1 韓国語で聞いたとき、多くの人に最も好まれるAIは? Arena Korean · 下位3%90位 Q2 日本語で聞いたとき、多くの人に最も好まれるAIは? Arena Japanese · 下位5%85位 Q3 難しい質問で、多くの人に最も好まれるAIは? Arena Hard Prompts · 下位6%103位 Q1 下位3%90位 / 91 1241 Q2 1249 Q3 1357 Q4 1352 Q5 1360 Q6 1334 Arena Koreanについて Arena Koreanについて詳しく