Q 複数の試験を合わせた総合力はどのくらい? AA Intelligence Index · 下位25%89位
Q 複数の試験を合わせた総合力はどのくらい? AA Intelligence Index · 下位25%89位
下位25%89位 / 117 18.2 推論強度: Thinking 強度別 None 15.2 Thinking 18.2
AA Intelligence Indexについて AA Intelligence Indexについて詳しく
Q1 顧客対応の仕事をルールどおりに処理できる? τ³-Banking · 下位14%69位 Q1 顧客対応の仕事をルールどおりに処理できる? τ³-Banking · 下位14%69位 Q2 顧客対応の仕事をルールどおりに処理できる? TAU2 · 上位22%17位 Q3 必要なツールを選んで、正しく使える? MCP-Atlas · 下位30%27位
Q1 下位14%69位 / 79 9.3% 推論強度: Thinking Q2 95.3% Q3 62.8% 強度別 None 5.4% Thinking 9.3%
τ³-Bankingについて τ³-Bankingについて詳しく
Q 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 下位32%81位
Q 複数の長い文書に散らばった情報を、まとめて答えられる? Long Context Reasoning · 下位32%81位
下位32%81位 / 116 71.7% 推論強度: Thinking 強度別 None 64.3% Thinking 71.7%
Long Context Reasoningについて Long Context Reasoningについて詳しく
Q1 数時間かかる開発の仕事も、コンピューターを自分で操作して最後までやり遂げられる? Terminal-Bench 4.0 · 下位27%59位 Q1 数時間かかる開発の仕事も、コンピューターを自分で操作して最後までやり遂げられる? Terminal-Bench 4.0 · 下位27%59位 Q2 実際の開発プロジェクトの問題をコードで直せる? SWE-Bench Pro · 下位12%47位 Q3 コンピューターを自分で操作して、開発の仕事をひとりで終えられる? Terminal-Bench 2.1 · 下位33%56位 Q1 下位27%59位 / 79 0.0% 推論強度: Thinking Q2 49.5% Q3 44.9% Q4 34.8% Q5 41.9 Q6 36.6% Q7 34.5% Q8 23.0% Terminal-Bench 4.0について Terminal-Bench 4.0について詳しく
Q 形式や長さなどの細かい条件を、漏れなく守れる? IFBench · 下位42%48位
Q 形式や長さなどの細かい条件を、漏れなく守れる? IFBench · 下位42%48位
下位42%48位 / 81 64.4% 推論強度: Thinking 強度別 None 36.2% Thinking 64.4%
IFBenchについて IFBenchについて詳しく
Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 下位33%80位 Q1 さまざまな分野の専門家でも難しい問題を解ける? Humanity's Last Exam · 下位33%80位 Q2 研究レベルの物理の問題を解ける? CritPt · 下位12%70位 Q3 大学院レベルの科学の問題を解ける? GPQA Diamond · 下位40%63位 Q1 下位33%80位 / 117 22.2% 推論強度: Thinking Q2 0.3% Q3 84.1% Q4 86.7% Q5 20.4% Q6 78.9% Q7 44.4% Q8 26.0% Q9 22.0% Q10 73.9% Q11 29.7 強度別 None 13.9% Thinking 22.2%
Humanity's Last Examについて Humanity's Last Examについて詳しく
Q1 グラフを読んで正確に答えられる? CharXiv · 下位33%22位 Q1 グラフを読んで正確に答えられる? CharXiv · 下位33%22位 Q2 大学レベルの図や表の問題を解ける? MMMU-Pro · 下位38%24位
Q1 下位33%22位 / 31 78.0% 開発元の自社発表 Q2 75.3% CharXivについて CharXivについて詳しく
Q1 Japanese MT-Bench Japanese MT-Bench · 下位39%39位 Q1 Japanese MT-Bench Japanese MT-Bench · 下位39%39位 Q2 jaster (0-shot) jaster · 下位31%44位 Q3 MRCR v2 (8-needle) MRCR v2 · 上位6%3位 Q1 下位39%39位 / 62 95.1% 推論強度: Thinking Q2 80.8% Q3 83.5% Q4 79.8% Q5 90.2% Q6 74.6% Japanese MT-Benchについて Japanese MT-Benchについて詳しく