ToolSpace, 장기 작업 에이전트용 난도 높은 벤치마크 구축

중국 인민대 연구진은 11월 3일 발표한 논문에서 장기 작업 에이전트를 위한 현실적인 환경과 벤치마크를 구축하는 도구 중심 프레임워크 ToolSpace를 공개했습니다. 이 시스템은 MCP 서비스의 여러 도구를 실행 가능한 작업 흐름으로 결합하는 에이전트를 겨냥합니다.

기존 방식은 먼저 데이터베이스와 시나리오를 만든 뒤 도구와 과제를 도출합니다. 연구진은 이 과정에서 실제 서비스와 맞지 않는 도구 인터페이스, 실행이 지원되지 않는 도구 조합, 여러 환경을 넘나드는 일이 드문 과제가 생길 수 있다고 지적했습니다. ToolSpace는 순서를 뒤집어 실제 MCP 서비스 기록과 공개 에이전트 자료에서 인접 호출 간 데이터·상태·재시도 의존성을 추출하며, 언어 모델의 판단 대신 결정론적 규칙을 사용합니다. 이후 가중치가 부여된 도구 조합 그래프를 환경별로 묶습니다.

도구가 상태를 바꾸는 환경에만 데이터베이스를 만들고, 조회 전용이거나 상태가 없는 도구는 기록된 출력을 재생합니다. 상태를 고려한 무작위 경로 탐색과 롤백으로 도구 연결 순서를 살펴본 뒤, 각 경로를 자연어 과제와 단언문 기반 검사로 변환합니다. 초기 상태에서 재생에 성공한 과제만 남깁니다.

이 파이프라인을 AutomationBench와 τ³-Bench Banking에 적용해 만든 Pro 버전에서는 최상위 모델 7종의 점수가 최대 38.2점 낮아졌습니다. 장기 작업 도구 사용 벤치마크 7개에서 Qwen3.6-35B-A3B의 평균 점수는 23.0점에서 41.0점으로 올랐고, 피드백을 이용해 학습하는 강화학습을 적용하면 43.2점에 도달했습니다. GLM-5.2는 44.6점에서 56.6점으로 상승해 Claude Opus 5와 같은 점수를 기록했습니다. 추가 분석에서는 실제 실행으로 확인한 도구 연결이 언어 모델이 판단한 연결보다 나았으며, 데이터와 환경의 규모가 커질수록 점수가 계속 개선됐습니다.

중국 인민대 연구진은 11월 3일 발표한 논문에서 장기 작업 에이전트를 위한 현실적인 환경과 벤치마크를 구축하는 도구 중심 프레임워크 ToolSpace를 공개했습니다. 이 시스템은 MCP 서비스의 여러 도구를 실행 가능한 작업 흐름으로 결합하는 에이전트를 겨냥합니다.

기존 방식은 먼저 데이터베이스와 시나리오를 만든 뒤 도구와 과제를 도출합니다. 연구진은 이 과정에서 실제 서비스와 맞지 않는 도구 인터페이스, 실행이 지원되지 않는 도구 조합, 여러 환경을 넘나드는 일이 드문 과제가 생길 수 있다고 지적했습니다. ToolSpace는 순서를 뒤집어 실제 MCP 서비스 기록과 공개 에이전트 자료에서 인접 호출 간 데이터·상태·재시도 의존성을 추출하며, 언어 모델의 판단 대신 결정론적 규칙을 사용합니다. 이후 가중치가 부여된 도구 조합 그래프를 환경별로 묶습니다.

도구가 상태를 바꾸는 환경에만 데이터베이스를 만들고, 조회 전용이거나 상태가 없는 도구는 기록된 출력을 재생합니다. 상태를 고려한 무작위 경로 탐색과 롤백으로 도구 연결 순서를 살펴본 뒤, 각 경로를 자연어 과제와 단언문 기반 검사로 변환합니다. 초기 상태에서 재생에 성공한 과제만 남깁니다.

이 파이프라인을 AutomationBench와 τ³-Bench Banking에 적용해 만든 Pro 버전에서는 최상위 모델 7종의 점수가 최대 38.2점 낮아졌습니다. 장기 작업 도구 사용 벤치마크 7개에서 Qwen3.6-35B-A3B의 평균 점수는 23.0점에서 41.0점으로 올랐고, 피드백을 이용해 학습하는 강화학습을 적용하면 43.2점에 도달했습니다. GLM-5.2는 44.6점에서 56.6점으로 상승해 Claude Opus 5와 같은 점수를 기록했습니다. 추가 분석에서는 실제 실행으로 확인한 도구 연결이 언어 모델이 판단한 연결보다 나았으며, 데이터와 환경의 규모가 커질수록 점수가 계속 개선됐습니다.