APEX-Agents

引用多め高いほど良い
何を測定しますか?
投資銀行・経営コンサルティング・企業法務の実務課題を、AIが仮想の業務環境で最後までやり遂げられるかを見ます。Mercorが作りました。
誰がどのように評価しますか?
課題480件(職種ごとに160件)を、文書・スプレッドシート・メール・予定表を備えた33の仮想業務環境で解きます(ウェブ検索なし)。専門家が作った採点基準をすべて満たして成功とし、1回の試行で成功した割合で採点します。
スコアの読み方
スコアは0〜100%です。高いほど良い結果です。
最高スコア84.2%Gemini 4 Carbon
測定したモデル54件
モデルのリリース時期(右が最新)
その時点の最高記録上ほど良い
  1. 🥇GoogleGemini 4 Carbon84.2%
  2. 🥈GoogleGemini 4 Argon82.4%
  3. 🥉AnthropicClaude Fable 5.280.1%
  4. #4AnthropicClaude Sonnet 5.5推論強度: Max75.5%
  5. #5AnthropicClaude Opus 5.5推論強度: Max73.5%
  6. #6DeepSeekDeepSeek V4.1 Flash 1017推論強度: Max69.8%
  7. #7AnthropicClaude Fable 5.168.6%
  8. #8OpenAIGPT-6.1 Terra推論強度: Max68.3%
  9. #9GoogleGemini 3.7 Flash67.8%
  10. #10AnthropicClaude Opus 5推論強度: Max65.8%
  11. #11Moonshot AIKimi K3.1 Pro65.5%
  12. #12SpaceXSIGrok 4.665.3%
  13. #13OpenAIGPT-6 Astra64.7%
  14. #14GoogleGemini 3.8 Flash64.3%
  15. #14MetaMuse Ember64.3%
  16. #16AnthropicClaude Fable 563.6%
  17. #17OpenAIGPT-6.1 Sol推論強度: Max60.0%
  18. #18MetaMuse Spark 1.358.6%
  19. #19OpenAIGPT-5.6 Terra推論強度: Max58.2%
  20. #20Z.aiGLM 5.356.6%
  21. #21SpaceXSIGrok 4.556.2%
  22. #22AnthropicClaude Haiku 5.5推論強度: Max56.1%
  23. #23OpenAIGPT-5.555.1%
  24. #24SpaceXSIGrok 4.754.6%
  25. #25AnthropicClaude Sonnet 554.5%
  26. #26XiaomiMiMo-V2.6-Pro54.4%
  27. #27OpenAIGPT-6 Sol推論強度: Max54.3%
  28. #28Z.aiGLM 5.3 Flash52.8%
  29. #29OpenAIGPT-5.452.4%
  30. #30Mistral AIMistral Large 4推論強度: High51.6%
  31. #31OpenAIGPT-5.6 Sol推論強度: Max51.4%
  32. #32AnthropicClaude Opus 4.7推論強度: Max49.2%
  33. #33AnthropicClaude Opus 4.8推論強度: Max48.9%
  34. #34Moonshot AIKimi K347.8%
  35. #35DeepSeekDeepSeek V4 Pro47.3%
  36. #36GoogleGemini 3.6 Flash46.9%
  37. #37AnthropicClaude Opus 4.6推論強度: Max46.3%
  38. #38MetaMuse Spark 1.245.4%
  39. #39Z.aiGLM 5.245.2%
  40. #40OpenAIGPT-6 Luna推論強度: Max44.3%
  41. #41AnthropicClaude Sonnet 4.6推論強度: High43.0%
  42. #41OpenAIGPT-5.6 Luna43.0%
  43. #43Z.aiGLM-5.140.9%
  44. #44DeepSeekDeepSeek V4.1 Flash39.5%
  45. #45MiniMaxMiniMax M337.7%
  46. #46Moonshot AIKimi K2.7 Code37.6%
  47. #47GoogleGemini 3.1 Pro35.1%
  48. #48MetaMuse Spark 1.131.8%
  49. #49GoogleGemini 3.5 Flash-Lite29.3%
  50. #50GoogleGemini 3.5 Flash27.5%
  51. #51AlibabaQwen3.5 397B A17B24.9%
  52. #52NVIDIANemotron 3 Ultra22.7%
  53. #53DeepSeekDeepSeek V3.221.3%
  54. #54OpenAIGPT OSS 120B4.4%
モデルの半数が53.6%以下最終更新 2026-11-11

「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。

スコアの出どころ

  • 試験の運営チームによる測定:試験を運営するチームが自ら実行して公開したスコアです。