τ³-Banking

何を測定しますか?
銀行のカスタマーセンター担当者の役割をどれだけうまくこなせるかを見ます。業務規定を事前に教えないため、AIが規定文書を自ら探して読み、その規定どおりに口座・カードなどのシステム処理を複数段階にわたって行う必要があります。Artificial Analysis が旧 τ²-Bench をレガシーにした後に使う現行の評価です。
誰がどのように評価しますか?
Sierra が作った τ³-Bench(τ-Knowledge)の銀行(Banking)領域です。21の商品群にわたる約700件の規定文書(約19万トークン)を検索ツールで探して読む必要があり、仮想顧客との対話終了後にシステムの状態が正解と一致するかで成否を判定します。Artificial Analysis が自ら実行します。
スコアの読み方
0〜100%。非常に難しく、上位モデルでも半分前後、中央値は20%前後です。2026年7月の採点修正(v1.0.1)以前の結果とは比較できません。

順位

最高スコア50.7%
測定したモデル79件
測定基準高いほど良い
最終更新2026.11.21
モデルのリリース時期

顧客対応の仕事をルールどおりに処理できる?

τ³-Banking

  1. 🥇SpaceXSIGrok 4.650.7%
  2. 🥈MetaMuse Spark 1.350.5%
  3. 🥉Z.aiGLM 5.350.3%
  4. #4AnthropicClaude Fable 5.147.2%
  5. #4Z.aiGLM 5.3 Flash47.2%
  6. #6Moonshot AIKimi K346.0%
  7. #7GoogleGemini 3.8 Flash45.8%
  8. #8AlibabaQwen3.8 Flash45.4%
  9. #9AnthropicClaude Opus 544.7%
  10. #10OpenAIGPT-5.6 Sol44.3%
  11. #11OpenAIGPT-6 Astra43.1%
  12. #12SpaceXSIGrok 4.542.1%
  13. #13OpenAIGPT-5.6 Terra40.2%
  14. #14DeepSeekDeepSeek V4 Pro39.6%
  15. #14OpenAIGPT-5.439.6%
  16. #16DeepSeekDeepSeek V4 Flash39.4%
  17. #17OpenAIGPT-5.539.0%
  18. #18AnthropicClaude Fable 538.1%
  19. #19AnthropicClaude Sonnet 537.3%
  20. #20GoogleGemini 3.7 Flash35.5%
  21. #21Motif TechnologiesMotif 335.3%
  22. #22MetaMuse Spark 1.234.8%
  23. #23AnthropicClaude Opus 4.734.6%
  24. #23Z.aiGLM 5.234.6%
  25. #25AnthropicClaude Sonnet 4.634.4%
  26. #26AnthropicClaude Opus 4.834.2%
  27. #27GoogleGemini 3.5 Flash32.2%
  28. #28MetaMuse Spark 1.131.8%
  29. #29OpenAIGPT-5.6 Luna31.1%
  30. #30GoogleGemini 3.6 Flash29.9%
  31. #31OpenAIGPT-5.4 Nano27.4%
  32. #32OpenAIGPT-5.4 Mini25.6%
  33. #33AnthropicClaude Sonnet 4.524.5%
  34. #34Moonshot AIKimi K2.623.3%
  35. #34UpstageSolar Pro 423.3%
  36. #36TencentHy322.9%
  37. #37OpenAIGPT-522.1%
  38. #38GoogleGemini 3.1 Pro21.4%
  39. #39GoogleGemini 3 Flash20.8%
  40. #39AlibabaQwen3.6 Plus20.8%
  41. #41Moonshot AIKimi K2.7 Code20.2%
  42. #42MetaMuse Spark19.6%
  43. #43DeepSeekDeepSeek V3.218.8%
  44. #44InclusionAIRing-2.6-1T17.9%
  45. #45GoogleGemini 3.5 Flash-Lite17.5%
  46. #45AlibabaQwen3.7 Plus17.5%
  47. #47AnthropicClaude Sonnet 416.7%
  48. #48SK TelecomA.X K216.1%
  49. #49OpenAIGPT-5 Mini15.5%
  50. #50MiniMaxMiniMax M315.3%
  51. #51Mistral AIMistral Medium 3.515.1%
  52. #52GoogleGemma 4 31B14.8%
  53. #53LG AI ResearchK-EXAONE14.2%
  54. #53Moonshot AIKimi K2.514.2%
  55. #53NVIDIANemotron 3 Ultra14.2%
  56. #56Z.aiGLM-5.113.6%
  57. #57AlibabaQwen3.5 397B A17B13.4%
  58. #58MeituanLongCat 2.013.2%
  59. #59OpenAIGPT OSS 120B12.8%
  60. #60SpaceXSIGrok 4.312.4%
  61. #61StepfunStep 3.7 Flash12.0%
  62. #62AlibabaQwen3.7 Max11.8%
  63. #63LG AI ResearchK-EXAONE 2.011.5%
  64. #64NVIDIANemotron 3 Super10.3%
  65. #65XiaomiMiMo V2.5 Pro9.9%
  66. #65MiniMaxMiniMax M2.79.9%
  67. #67GoogleGemini 2.5 Pro9.7%
  68. #67GoogleGemini 3.1 Flash Lite9.7%
  69. #69AnthropicClaude Haiku 4.59.3%
  70. #69AlibabaQwen3.6 35B A3B9.3%
  71. #71XiaomiMiMo V2.58.7%
  72. #71UpstageSolar Pro 38.7%
  73. #73CohereNorth Mini Code6.4%
  74. #74NVIDIANemotron 3 Nano 30B A3B6.0%
  75. #75Arcee AITrinity Large Thinking5.8%
  76. #76Mistral AIMistral Small 44.9%
  77. #77MetaLlama 4 Maverick3.7%
  78. #78MetaLlama 4 Scout3.3%
  79. #79IBMGranite 4.1 8B3.1%
モデルの半数が20.8%以下

直近60日にリリースされたAI 64個のうち64個はまだこの試験のスコアがありません · Gemini 4 Neon, GPT-6.2 Astra, Microsoft-Decision-1.1 ほか61個

あらかじめ決められた方法で一括測定したスコアなので、自分の質問での結果とは異なる場合があります。

「開発元発表」と表示されたスコアは、AI開発元が自ら発表した数値で、第三者の測定ではありません。