Q1 複数の試験を合わせた総合力はどのくらい? AA Intelligence Index · 下位32%81位 Q1 複数の試験を合わせた総合力はどのくらい? AA Intelligence Index · 下位32%81位 Q2 多くの人に最も好まれる回答をするAIは? Arena Text · 下位23%76位 Q3 幅広い専門分野の知識を持っている? MMLU-Pro · 上位18%5位
Q1 下位32%81位 / 117 20.6 推論強度: Thinking Q2 1426 Q3 87.3% 強度別 None 16.6 Thinking 20.6
AA Intelligence Indexについて AA Intelligence Indexについて詳しく
Q1 顧客対応の仕事をルールどおりに処理できる? TAU2 · 下位30%57位 Q1 顧客対応の仕事をルールどおりに処理できる? TAU2 · 下位30%57位 Q2 人が何時間もかかる長い仕事もこなせる? METR Time Horizon · 下位30%8位
Q1 下位30%57位 / 79 73.4% 推論強度: Thinking Q2 1時間40分 TAU2について TAU2について詳しく
Q1 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 下位25%88位 Q1 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 下位25%88位 Q2 多くの人に最も好まれるビジネスの回答をするAIは? Arena Business, Management & Finance · 下位19%80位 Q3 長い物語を読んで、行間まで理解できる? Fiction.LiveBench · 上位50%5位 Q4 開示資料を探して、財務分析ができる? Finance Agent v1 · 下位47%9位
Q1 下位25%88位 / 116 69.3% 推論強度: Thinking Q2 1409 Q3 61.1% Q4 43.6% Long Context Reasoningについて Long Context Reasoningについて詳しく
Q1 何段階にもわたるWeb調査をこなせる? Deep Research Bench · 下位42%11位 Q1 何段階にもわたるWeb調査をこなせる? Deep Research Bench · 下位42%11位 Q2 要約するとき、ない内容をでっち上げない? Vectara Hallucination Rate · 下位28%27位 Q3 要約するとき、ない内容をでっち上げない? Vectara Factual Consistency · 下位28%27位 Q4 これから起きることを、どれだけ正確に予測できる? ForecastBench Brier Index · 上位15%4位
Q1 下位42%11位 / 17 46.8% 推論強度: Budget 2K Q2 12.0% Q3 88.0% Q4 60.6 Deep Research Benchについて Deep Research Benchについて詳しく
Q1 多くの人に最も好まれるコーディングの回答をするAIは? Arena Coding · 下位41%59位 Q1 多くの人に最も好まれるコーディングの回答をするAIは? Arena Coding · 下位41%59位 Q2 難しい開発の仕事も、コンピューターを自分で操作してひとりで解ける? TerminalBench Hard · 下位37%51位 Q3 コーディングの総合力はどのくらい? AA Coding Index · 下位23%78位 Q1 下位41%59位 / 97 1498 Q2 31.1% Q3 34.0 Q4 63.6% Q5 39.8% Q6 70.7% Q7 43.7% Q8 6.9% Q9 72.0% Q10 1467 Q11 1.33× Arena Codingについて Arena Codingについて詳しく
Q1 多くの人に最も好まれる文章・文学の回答をするAIは? Arena Writing, Literature & Language · 下位45%55位 Q1 多くの人に最も好まれる文章・文学の回答をするAIは? Arena Writing, Literature & Language · 下位45%55位 Q2 会話が長くなったとき、多くの人に最も好まれるAIは? Arena Multi-turn · 下位31%68位 Q3 形式や長さなどの細かい条件を、漏れなく守れる? IFBench · 下位21%65位 Q1 下位45%55位 / 97 1431 Q2 1439 Q3 53.7% Q4 1432 Q5 1444 Q6 8.36 / 10 Q7 1422 Arena Writing, Literature & Languageについて Arena Writing, Literature & Languageについて詳しく
Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 下位17%99位 Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 下位17%99位 Q2 研究レベルの物理の問題を解ける? CritPt · 下位13%69位 Q3 多くの人に最も好まれる数学の回答をするAIは? Arena Math · 下位22%75位 Q1 下位17%99位 / 117 12.3% 推論強度: Thinking Q2 0.3% Q3 1421 Q4 79.6% Q5 64.4% Q6 73.3 Q7 73.3% Q8 1437 Q9 1426 Q10 98.2% Q11 85.0% Q12 4.5% Q13 4.2% Q14 35.7% Q15 8.6% Q16 58.8% Q17 5.6% Q18 81.6% Q19 37.4 強度別 None 6.2% Thinking 12.3%
Humanity's Last Examについて Humanity's Last Examについて詳しく
Q1 多くの人に最も好まれる写真・図表についての回答をするAIは? Arena Vision · 下位9%54位 Q1 多くの人に最も好まれる写真・図表についての回答をするAIは? Arena Vision · 下位9%54位 Q2 絵だけを見て、物がどう動くかを予測できる? VPCT · 下位50%6位 Q3 写真1枚で、どこで撮ったかを当てられる? GeoBench · 下位29%6位
Q1 下位9%54位 / 58 1192 Q2 38.0% Q3 49.0% Arena Visionについて Arena Visionについて詳しく
Q1 韓国語で聞いたとき、多くの人に最も好まれるAIは? Arena Korean · 下位32%55位 Q1 韓国語で聞いたとき、多くの人に最も好まれるAIは? Arena Korean · 下位32%55位 Q2 日本語で聞いたとき、多くの人に最も好まれるAIは? Arena Japanese · 下位27%56位 Q3 難しい質問で、多くの人に最も好まれるAIは? Arena Hard Prompts · 下位30%69位 Q1 下位32%55位 / 79 1383 Q2 1387 Q3 1457 Q4 1448 Q5 1441 Q6 1433 Q7 38.0% Q8 88.0% Q9 73.6% Q10 79.6% Q11 67.6% Q12 87.0% Q13 84.2% Q14 94.2% Q15 78.9% Q16 86.0% Q17 84.0% Q18 66.7% Q19 35.0% Q20 13.0% Q21 79.0% Q22 8.8% Q23 96.0% Q24 72.0% Q25 73.0% Q26 95.0% Q27 71.0% Q28 78.0% Q29 88.8% Q30 73.0% Q31 6.0% Q32 25.1% Arena Koreanについて Arena Koreanについて詳しく