Q1 複数の試験を合わせた総合力はどのくらい? AA Intelligence Index · 上位46%53位 Q1 複数の試験を合わせた総合力はどのくらい? AA Intelligence Index · 上位46%53位 Q2 多くの人に最も好まれる回答をするAIは? Arena Text · 上位43%41位 Q3 覚えた答えではなく、初めて見る問題も解ける? LiveBench Overall · 下位22%40位
Q1 上位46%53位 / 116 27.0 推論強度: Thinking Q2 1461 Q3 70.5 強度別 None 23.6 Thinking 27.0
AA Intelligence Indexについて AA Intelligence Indexについて詳しく
Q1 顧客対応の仕事をルールどおりに処理できる? τ³-Banking · 上位44%34位 Q1 顧客対応の仕事をルールどおりに処理できる? τ³-Banking · 上位44%34位 Q2 パソコンを自分で操作して、専門家の実務をこなせる? Agents' Last Exam · 下位20%21位 Q3 小さな事業を1年間ひとりで運営して、利益を出せる? Vending-Bench 2 · 上位39%18位 Q1 上位44%34位 / 79 23.3% 推論強度: Thinking Q2 9.2% Q3 $6,205 Q4 95.9% Q5 69.4% Q6 4.6% Q7 8.1% τ³-Bankingについて τ³-Bankingについて詳しく
Q1 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 上位23%26位 Q1 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 上位23%26位 Q2 表を読んで、求める形に整理できる? LiveBench Data Analysis · 下位16%43位 Q3 多くの人に最も好まれるビジネスの回答をするAIは? Arena Business, Management & Finance · 上位50%48位 Q1 上位23%26位 / 115 81.0% 推論強度: Thinking Q2 65.1 Q3 1455 Q4 12.0% Q5 44.9% Q6 66.7% Q7 45.1% Q8 15.9% Q9 1.7% Q10 40.1% Q11 1451 Q12 57.1% 強度別 None 69.7% Thinking 81.0%
Long Context Reasoningについて Long Context Reasoningについて詳しく
Q1 多くの人に好まれ、しかも間違いのない回答をするAIは? Arena Text Factuality · 上位44%39位 Q1 多くの人に好まれ、しかも間違いのない回答をするAIは? Arena Text Factuality · 上位44%39位 Q2 検索しなくても、事実を正確に知っている? SimpleQA Verified · 下位31%40位 Q3 見つけにくい情報も、Webで最後まで探し出せる? BrowseComp · 上位30%12位 Q1 上位44%39位 / 90 1456 Q2 34.9% Q3 86.3% Q4 55.5% Q5 83.0% Q6 92.5% Arena Text Factualityについて Arena Text Factualityについて詳しく
Q1 数時間かかる開発の仕事も、コンピューターを自分で操作して最後までやり遂げられる? Terminal-Bench 4.0 · 下位39%49位 Q1 数時間かかる開発の仕事も、コンピューターを自分で操作して最後までやり遂げられる? Terminal-Bench 4.0 · 下位39%49位 Q2 多くの人に最も好まれるコーディングの回答をするAIは? Arena Coding · 上位36%34位 Q3 コードを実行しながら直して、課題を終えられる? LiveBench Agentic Coding · 下位36%33位 Q1 下位39%49位 / 78 0.5% 推論強度: Thinking Q2 1516 Q3 46.9 Q4 1093 Q5 58.6% Q6 65.9% Q7 43.9% Q8 61.8 Q9 1509 Q10 51.5% Q11 78.6 Q12 76.7% Q13 55.9% Q14 1503 Q15 66.7% Q16 0.9% Terminal-Bench 4.0について Terminal-Bench 4.0について詳しく
Q1 多くの人に最も好まれる文章・文学の回答をするAIは? Arena Writing, Literature & Language · 下位50%49位 Q1 多くの人に最も好まれる文章・文学の回答をするAIは? Arena Writing, Literature & Language · 下位50%49位 Q2 会話が長くなったとき、多くの人に最も好まれるAIは? Arena Multi-turn · 下位49%51位 Q3 形式や長さなどの細かい条件を、漏れなく守れる? IFBench · 上位21%17位 Q1 下位50%49位 / 97 1441 Q2 1461 Q3 76.0% Q4 1433 Q5 1456 Q6 75.1 Q7 1202 Q8 78.1% Q9 1429 Q10 64.4 Arena Writing, Literature & Languageについて Arena Writing, Literature & Languageについて詳しく
Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 上位38%44位 Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 上位38%44位 Q2 研究レベルの物理の問題を解ける? CritPt · 下位40%48位 Q3 多くの人に最も好まれる数学の回答をするAIは? Arena Math · 上位29%27位 Q1 上位38%44位 / 116 37.5% 推論強度: Thinking Q2 8.0% Q3 1480 Q4 91.1% Q5 96.1% Q6 84.3 Q7 57.2% Q8 25.6% Q9 16.0% Q10 86.0% Q11 1478 Q12 1485 Q13 79.4 Q14 39.0% Q15 14.6% Q16 26.0% Q17 18.0% Q18 90.9% Q19 37.3 強度別 None 19.6% Thinking 37.5%
Humanity's Last Examについて Humanity's Last Examについて詳しく
Q1 多くの人に最も好まれる写真・図表についての回答をするAIは? Arena Vision · 上位40%23位 Q1 多くの人に最も好まれる写真・図表についての回答をするAIは? Arena Vision · 上位40%23位 Q2 組み立て写真を見て、間違った手順を見つけられる? Furniture Assembly · 下位8%26位 Q3 家の中の写真数枚から、間取り図を描ける? Blueprint-Bench 2 · 下位14%26位 Q1 上位40%23位 / 58 1282 Q2 21.7% Q3 3.9% Q4 86.7% Q5 79.4% Arena Visionについて Arena Visionについて詳しく
Q1 韓国語で聞いたとき、多くの人に最も好まれるAIは? Arena Korean · 上位40%31位 Q1 韓国語で聞いたとき、多くの人に最も好まれるAIは? Arena Korean · 上位40%31位 Q2 日本語で聞いたとき、多くの人に最も好まれるAIは? Arena Japanese · 上位36%27位 Q3 難しい質問で、多くの人に最も好まれるAIは? Arena Hard Prompts · 上位43%41位 Q1 上位40%31位 / 79 1424 Q2 1441 Q3 1486 Q4 1503 Q5 1473 Q6 1464 Q7 18.4% Q8 2.4% Q9 72.8% Q10 64.6% Q11 73.1% Q12 58.0% Arena Koreanについて Arena Koreanについて詳しく