Q1 多くの人に最も好まれる回答をするAIは? Arena Text · 下位24%84位 Q1 多くの人に最も好まれる回答をするAIは? Arena Text · 下位24%84位 Q2 幅広い専門分野の知識を持っている? MMLU-Pro · 上位18%5位 Q3 旧版(v4)基準の知能指数はどのくらいだった? AA Intelligence Index v4 · 下位24%59位
Q1 下位24%84位 / 108 1426 Q2 87.3% Q3 20.6 Arena Textについて Arena Textについて詳しく
Q1 顧客対応の仕事をルールどおりに処理できる? TAU2 · 下位30%57位 Q1 顧客対応の仕事をルールどおりに処理できる? TAU2 · 下位30%57位 Q2 人が何時間もかかる長い仕事もこなせる? METR Time Horizon · 下位30%8位
Q1 下位30%57位 / 79 73.4% Q2 1時間40分 TAU2について TAU2について詳しく
Q1 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 下位24%93位 Q1 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 下位24%93位 Q2 多くの人に最も好まれるビジネスの回答をするAIは? Arena Business, Management & Finance · 下位16%92位 Q3 長い物語を読んで、行間まで理解できる? Fiction.LiveBench · 上位50%5位 Q4 開示資料を探して、財務分析ができる? Finance Agent v1 · 下位47%9位
Q1 下位24%93位 / 121 69.3% Q2 1409 Q3 61.1% Q4 43.6% Long Context Reasoningについて Long Context Reasoningについて詳しく
Q1 何段階にもわたるWeb調査をこなせる? Deep Research Bench · 下位42%11位 Q1 何段階にもわたるWeb調査をこなせる? Deep Research Bench · 下位42%11位 Q2 多くの人に最も好まれる検索の回答をするAIは? Arena Search · 下位4%29位 Q3 要約するとき、ない内容をでっち上げない? Vectara Hallucination Rate · 下位28%30位 Q1 下位42%11位 / 17 46.8% 推論強度: Budget 2K Q2 1127 Q3 12.0% Q4 88.0% Q5 60.6 Deep Research Benchについて Deep Research Benchについて詳しく
Q1 コーディングの回答で、多くの人に最も好まれているAIは? Arena Coding · 下位38%69位 Q1 コーディングの回答で、多くの人に最も好まれているAIは? Arena Coding · 下位38%69位 Q2 難しい開発の仕事も、コンピューターを自分で操作してひとりで解ける? TerminalBench Hard · 下位37%51位 Q3 ターミナル作業と科学コードにわたるコーディング指数は? AA Coding Index · 下位23%78位 Q1 下位38%69位 / 108 1498 Q2 31.1% Q3 34.0 Q4 63.6% Q5 39.8% Q6 70.7% Q7 43.7% Q8 6.9% Q9 72.0% Q10 1468 Q11 1.33× Arena Codingについて Arena Codingについて詳しく
Q1 多くの人に最も好まれる文章・文学の回答をするAIは? Arena Writing, Literature & Language · 下位41%65位 Q1 多くの人に最も好まれる文章・文学の回答をするAIは? Arena Writing, Literature & Language · 下位41%65位 Q2 会話が長くなったとき、多くの人に最も好まれるAIは? Arena Multi-turn · 下位30%77位 Q3 形式や長さなどの細かい条件を、漏れなく守れる? IFBench · 下位21%65位 Q1 下位41%65位 / 108 1432 Q2 1439 Q3 53.7% Q4 1433 Q5 1444 Q6 8.36 Q7 1422 Arena Writing, Literature & Languageについて Arena Writing, Literature & Languageについて詳しく
Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 下位16%104位 Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 下位16%104位 Q2 研究レベルの物理の問題を解ける? CritPt · 下位12%78位 Q3 多くの人に最も好まれる数学の回答をするAIは? Arena Math · 下位20%85位 Q1 下位16%104位 / 122 12.3% Q2 0.3% Q3 1421 Q4 79.6% Q5 64.4% Q6 73.3 Q7 73.3% Q8 1438 Q9 1426 Q10 98.2% Q11 85.0% Q12 4.5% Q13 4.2% Q14 35.7% Q15 8.6% Q16 58.8% Q17 5.6% Q18 81.6% Q19 37.4 強度別 None 6.2% Thinking 12.3%
Humanity's Last Examについて Humanity's Last Examについて詳しく
Q1 多くの人に最も好まれる写真・図表についての回答をするAIは? Arena Vision · 下位8%62位 Q1 多くの人に最も好まれる写真・図表についての回答をするAIは? Arena Vision · 下位8%62位 Q2 絵だけを見て、物がどう動くかを予測できる? VPCT · 下位50%6位 Q3 写真1枚で、どこで撮ったかを当てられる? GeoBench · 下位10%20位
Q1 下位8%62位 / 66 1192 Q2 38.0% Q3 49.0% Arena Visionについて Arena Visionについて詳しく
Q1 韓国語で聞いたとき、多くの人に最も好まれるAIは? Arena Korean · 下位28%67位 Q1 韓国語で聞いたとき、多くの人に最も好まれるAIは? Arena Korean · 下位28%67位 Q2 日本語で聞いたとき、多くの人に最も好まれるAIは? Arena Japanese · 下位27%66位 Q3 難しい質問で、多くの人に最も好まれるAIは? Arena Hard Prompts · 下位30%77位 Q1 下位28%67位 / 91 1385 Q2 1387 Q3 1457 Q4 1450 Q5 1441 Q6 1433 Q7 38.0% Q8 88.0% Q9 73.6% Q10 79.6% Q11 67.6% Q12 87.0% Q13 84.2% Q14 94.2% Q15 78.9% Q16 86.0% Q17 84.0% Q18 66.7% Q19 35.0% Q20 13.0% Q21 79.0% Q22 87.9% Q23 96.0% Q24 72.0% Q25 73.0% Q26 95.0% Q27 71.0% Q28 78.0% Q29 88.8% Q30 73.0% Q31 6.0% Q32 25.1% Arena Koreanについて Arena Koreanについて詳しく
Q 筋の通らない質問にだまされず、「おかしい」と指摘できる? BullshitBench v2 · 下位41%86位
Q 筋の通らない質問にだまされず、「おかしい」と指摘できる? BullshitBench v2 · 下位41%86位
下位41%86位 / 143 34.0% BullshitBench v2について BullshitBench v2について詳しく