Q 多くの人に最も好まれる回答をするAIは? Arena Text · 下位9%100位
Q 多くの人に最も好まれる回答をするAIは? Arena Text · 下位9%100位
下位9%100位 / 108 1367 Arena Textについて Arena Textについて詳しく
Q1 顧客対応の仕事をルールどおりに処理できる? τ³-Banking · 下位7%75位 Q1 顧客対応の仕事をルールどおりに処理できる? τ³-Banking · 下位7%75位 Q2 顧客対応の仕事をルールどおりに処理できる? TAU2 · 上位45%35位
Q1 下位7%75位 / 79 5.8% Q2 90.1% τ³-Bankingについて τ³-Bankingについて詳しく
Q1 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 下位9%112位 Q1 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 下位9%112位 Q2 多くの人に最も好まれるビジネスの回答をするAIは? Arena Business, Management & Finance · 下位9%100位 Q3 数百ページの契約書を読んで、必要な内容を正確に見つけて答えられる? CorpFin v2 · 下位8%59位
Q1 下位9%112位 / 121 38.0% Q2 1368 Q3 54.7% Long Context Reasoningについて Long Context Reasoningについて詳しく
Q1 多くの人に好まれ、しかも間違いのない回答をするAIは? Arena Text Factuality · 下位3%101位 Q1 多くの人に好まれ、しかも間違いのない回答をするAIは? Arena Text Factuality · 下位3%101位 Q2 要約するとき、ない内容をでっち上げない? Vectara Hallucination Rate · 上位20%8位 Q3 要約するとき、ない内容をでっち上げない? Vectara Factual Consistency · 上位20%8位
Q1 下位3%101位 / 103 1370 Q2 6.9% Q3 93.1% Arena Text Factualityについて Arena Text Factualityについて詳しく
Q1 AIは長時間の開発作業を、コンピューターを直接操作しながら自律的にこなせる? Terminal-Bench 4.0 · 下位36%55位 Q1 AIは長時間の開発作業を、コンピューターを直接操作しながら自律的にこなせる? Terminal-Bench 4.0 · 下位36%55位 Q2 コーディングの回答で、多くの人に最も好まれているAIは? Arena Coding · 下位10%99位 Q3 コンピューターを自分で操作して、開発の仕事をひとりで終えられる? Terminal-Bench 2.1 · 下位12%73位 Q1 下位36%55位 / 84 0.5% Q2 1412 Q3 20.6% Q4 22.7% Q5 25.8 Q6 1237 Q7 40.6% Q8 1405 Terminal-Bench 4.0について Terminal-Bench 4.0について詳しく
Q1 多くの人に最も好まれる文章・文学の回答をするAIは? Arena Writing, Literature & Language · 下位10%99位 Q1 多くの人に最も好まれる文章・文学の回答をするAIは? Arena Writing, Literature & Language · 下位10%99位 Q2 会話が長くなったとき、多くの人に最も好まれるAIは? Arena Multi-turn · 下位8%101位 Q3 形式や長さなどの細かい条件を、漏れなく守れる? IFBench · 下位26%61位 Q1 下位10%99位 / 108 1343 Q2 1346 Q3 56.3% Q4 1333 Q5 1359 Q6 1325 Arena Writing, Literature & Languageについて Arena Writing, Literature & Languageについて詳しく
Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 下位21%98位 Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 下位21%98位 Q2 研究レベルの物理の問題を解ける? CritPt · 下位15%75位 Q3 多くの人に最も好まれる数学の回答をするAIは? Arena Math · 下位11%94位 Q1 下位21%98位 / 122 15.8% Q2 0.9% Q3 1383 Q4 75.2% Q5 15.6% Q6 1390 Q7 1375 Humanity's Last Examについて Humanity's Last Examについて詳しく
Q1 韓国語で聞いたとき、多くの人に最も好まれるAIは? Arena Korean · 下位11%82位 Q1 韓国語で聞いたとき、多くの人に最も好まれるAIは? Arena Korean · 下位11%82位 Q2 日本語で聞いたとき、多くの人に最も好まれるAIは? Arena Japanese · 下位13%78位 Q3 難しい質問で、多くの人に最も好まれるAIは? Arena Hard Prompts · 下位9%100位 Q1 下位11%82位 / 91 1328 Q2 1332 Q3 1385 Q4 1401 Q5 1392 Q6 1376 Arena Koreanについて Arena Koreanについて詳しく
Q1 筋の通らない質問にだまされず、「おかしい」と指摘できる? BullshitBench v2 · 下位22%113位 Q1 筋の通らない質問にだまされず、「おかしい」と指摘できる? BullshitBench v2 · 下位22%113位 Q2 スネークゲームの1対1対決で、どちらが長く生き残る? SnakeBench · 下位38%187位
Q1 下位22%113位 / 143 17.0% 推論強度: Minimal Q2 20 強度別 Minimal 17.0% Extra High 13.0%
BullshitBench v2について BullshitBench v2について詳しく