Q1 複数の試験を合わせた総合力はどのくらい? AA Intelligence Index · 下位19%96位 Q1 複数の試験を合わせた総合力はどのくらい? AA Intelligence Index · 下位19%96位 Q2 多くの人に最も好まれる回答をするAIは? Arena Text · 下位25%74位
Q1 下位19%96位 / 116 14.2 Q2 1427 AA Intelligence Indexについて AA Intelligence Indexについて詳しく
Q1 顧客対応の仕事をルールどおりに処理できる? τ³-Banking · 下位37%51位 Q1 顧客対応の仕事をルールどおりに処理できる? τ³-Banking · 下位37%51位 Q2 顧客対応の仕事をルールどおりに処理できる? TAU2 · 上位30%23位
Q1 下位37%51位 / 79 15.1% Q2 94.2% τ³-Bankingについて τ³-Bankingについて詳しく
Q1 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 下位26%87位 Q1 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 下位26%87位 Q2 多くの人に最も好まれるビジネスの回答をするAIは? Arena Business, Management & Finance · 下位28%71位 Q3 開示資料を探して、財務分析ができる? Finance Agent v2 · 下位10%56位 Q1 下位26%87位 / 115 69.3% Q2 1430 Q3 32.1% Q4 58.8% Q5 27.3% Q6 9.1% Q7 0.4% Q8 33.8% Q9 46.1% Long Context Reasoningについて Long Context Reasoningについて詳しく
Q1 多くの人に好まれ、しかも間違いのない回答をするAIは? Arena Text Factuality · 下位25%69位 Q1 多くの人に好まれ、しかも間違いのない回答をするAIは? Arena Text Factuality · 下位25%69位 Q2 見つけにくい情報も、Webで最後まで探し出せる? BrowseComp · 下位18%34位
Q1 下位25%69位 / 90 1431 Q2 48.6% Arena Text Factualityについて Arena Text Factualityについて詳しく
Q1 数時間かかる開発の仕事も、コンピューターを自分で操作して最後までやり遂げられる? Terminal-Bench 4.0 · 下位27%58位 Q1 数時間かかる開発の仕事も、コンピューターを自分で操作して最後までやり遂げられる? Terminal-Bench 4.0 · 下位27%58位 Q2 多くの人に最も好まれるコーディングの回答をするAIは? Arena Coding · 下位26%73位 Q3 正解のない最適化問題で、よりよい答えを見つけられる? ALE-Bench · 下位32%52位 Q1 下位27%58位 / 78 0.0% Q2 1479 Q3 764 Q4 50.6% Q5 33.3% Q6 46.9 Q7 1263 Q8 40.2% Q9 8.0% Q10 43.7% Q11 1469 Terminal-Bench 4.0について Terminal-Bench 4.0について詳しく
Q1 多くの人に最も好まれる文章・文学の回答をするAIは? Arena Writing, Literature & Language · 下位25%74位 Q1 多くの人に最も好まれる文章・文学の回答をするAIは? Arena Writing, Literature & Language · 下位25%74位 Q2 会話が長くなったとき、多くの人に最も好まれるAIは? Arena Multi-turn · 下位28%71位 Q3 形式や長さなどの細かい条件を、漏れなく守れる? IFBench · 下位49%43位 Q1 下位25%74位 / 97 1405 Q2 1433 Q3 68.8% Q4 1400 Q5 1422 Q6 993 Q7 67.7% Q8 1396 Arena Writing, Literature & Languageについて Arena Writing, Literature & Languageについて詳しく
Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 下位19%95位 Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 下位19%95位 Q2 研究レベルの物理の問題を解ける? CritPt · 下位9%72位 Q3 多くの人に最も好まれる数学の回答をするAIは? Arena Math · 下位28%69位 Q1 下位19%95位 / 116 13.8% Q2 0.0% Q3 1429 Q4 74.8% Q5 9.0% Q6 26.9% Q7 1436 Q8 1439 Q9 75.5% Q10 26.1 Humanity's Last Examについて Humanity's Last Examについて詳しく
Q 多くの人に最も好まれる写真・図表についての回答をするAIは? Arena Vision · 下位19%48位
Q 多くの人に最も好まれる写真・図表についての回答をするAIは? Arena Vision · 下位19%48位
下位19%48位 / 58 1222 Arena Visionについて Arena Visionについて詳しく
Q1 顧客の問い合わせを、適切な種類に振り分けられる? Jevals Banking77 · 下位17%6位 Q1 顧客の問い合わせを、適切な種類に振り分けられる? Jevals Banking77 · 下位17%6位 Q2 医学論文を読んで、質問に「はい・いいえ」で正しく答えられる? Jevals PubMedQA · 下位34%5位 Q3 AIの回答がどれだけ役立つかを、正しく採点できる? Jevals HelpSteer2 · 下位34%5位
Q1 下位17%6位 / 6 59.5 Q2 58.0 Q3 -13.7 Jevals Banking77について Jevals Banking77について詳しく
Q1 韓国語で聞いたとき、多くの人に最も好まれるAIは? Arena Korean · 下位38%50位 Q1 韓国語で聞いたとき、多くの人に最も好まれるAIは? Arena Korean · 下位38%50位 Q2 難しい質問で、多くの人に最も好まれるAIは? Arena Hard Prompts · 下位25%74位 Q3 専門家レベルの質問で、多くの人に最も好まれるAIは? Arena Expert · 下位17%82位 Q1 下位38%50位 / 79 1393 Q2 1446 Q3 1435 Q4 1421 Q5 1438 Q6 86.0% Q7 60.5% Q8 64.8% Q9 56.2% Q10 77.0% Q11 76.1% Q12 93.5% Q13 80.4% Q14 74.0% Q15 60.2% Q16 43.3% Q17 6.0% Q18 14.1% Q19 78.0% Q20 7.9% Q21 79.0% Q22 52.0% Q23 44.0% Q24 42.0% Q25 69.0% Q26 32.1% Q27 75.7% Q28 83.0% Q29 72.8% Arena Koreanについて Arena Koreanについて詳しく