ToolSpace、長期エージェント向け難関ベンチマークを構築

中国人民大学の研究者は11月3日公開の論文で、長期エージェント向けに現実的な環境とベンチマークを構築する、ツール中心の枠組み「ToolSpace」を発表しました。MCPサービス間でツールを組み合わせ、実行可能なワークフローを作るエージェントを対象としています。

既存手法はまずデータベースとシナリオを生成し、そこからツールとタスクを作ります。研究者らによると、この方法では実際のサービスと合わないツールのインターフェースや、実行時に対応できないツールの組み合わせが生じるほか、複数の環境をまたぐタスクが少なくなる場合があります。ToolSpaceは手順を逆にし、実際のMCPサービスの連続呼び出し記録と公開エージェントのデータから、データ、状態、再試行の依存関係を抽出します。言語モデルの判断ではなく決定的なルールを使い、重み付きのツール構成グラフを環境ごとにまとめます。

ToolSpaceは、ツールが状態を変える環境だけにデータベースを作ります。検索のみのツールや状態を持たないツールは、記録済みの出力を再生します。状態を考慮したランダムウォーク（状態を追跡しながら経路をたどる探索）とロールバックでツールの連鎖を調べ、各連鎖を自然言語のタスクに変換し、アサーションによる検査を加えます。初期状態から正常に再生できたタスクだけを採用します。

この手法をAutomationBenchとτ³-Bench Bankingに適用して作ったPro版では、最先端の7モデルのスコアが最大38.2ポイント下がりました。長期的なツール利用を測る7つのベンチマークでは、Qwen3.6-35B-A3Bの平均スコアが23.0から41.0に上昇し、強化学習（フィードバックを使って学習する方法）を加えると43.2になりました。GLM-5.2は44.6から56.6に上がり、Claude Opus 5と同点でした。

追加分析では、言語モデルが妥当と判断したツール間のつながりより、実行記録で確認されたつながりの方が優れていました。データと環境の規模を大きくするにつれて、スコアも上昇し続けました。

中国人民大学の研究者は11月3日公開の論文で、長期エージェント向けに現実的な環境とベンチマークを構築する、ツール中心の枠組み「ToolSpace」を発表しました。MCPサービス間でツールを組み合わせ、実行可能なワークフローを作るエージェントを対象としています。

既存手法はまずデータベースとシナリオを生成し、そこからツールとタスクを作ります。研究者らによると、この方法では実際のサービスと合わないツールのインターフェースや、実行時に対応できないツールの組み合わせが生じるほか、複数の環境をまたぐタスクが少なくなる場合があります。ToolSpaceは手順を逆にし、実際のMCPサービスの連続呼び出し記録と公開エージェントのデータから、データ、状態、再試行の依存関係を抽出します。言語モデルの判断ではなく決定的なルールを使い、重み付きのツール構成グラフを環境ごとにまとめます。

ToolSpaceは、ツールが状態を変える環境だけにデータベースを作ります。検索のみのツールや状態を持たないツールは、記録済みの出力を再生します。状態を考慮したランダムウォーク（状態を追跡しながら経路をたどる探索）とロールバックでツールの連鎖を調べ、各連鎖を自然言語のタスクに変換し、アサーションによる検査を加えます。初期状態から正常に再生できたタスクだけを採用します。

この手法をAutomationBenchとτ³-Bench Bankingに適用して作ったPro版では、最先端の7モデルのスコアが最大38.2ポイント下がりました。長期的なツール利用を測る7つのベンチマークでは、Qwen3.6-35B-A3Bの平均スコアが23.0から41.0に上昇し、強化学習（フィードバックを使って学習する方法）を加えると43.2になりました。GLM-5.2は44.6から56.6に上がり、Claude Opus 5と同点でした。

追加分析では、言語モデルが妥当と判断したツール間のつながりより、実行記録で確認されたつながりの方が優れていました。データと環境の規模を大きくするにつれて、スコアも上昇し続けました。