일리노이 대학교 어바나-샴페인(University of Illinois at Urbana-Champaign) 연구진이 6월 21일 발표한 PlanBench-XL은 대규모 복잡한 도구 환경에서 LLM 에이전트의 탐색 능력을 평가하는 대화형 벤치마크이다. 이 벤치마크는 327개의 소매 작업과 1,665개의 도구 세트로 구성되어 있으며, 모델이 도구 기능을 반복적으로 호출하고 체인화하여 최종 목표를 달성하는 과정을 측정한다. 특히 실세계의 예측 불가능성을 반영하기 위해 작동 불능, 부재, 방해 요소를 포함한 차단 메커니즘을 도입하여 에이전트가 런타임 중에 경로 중단을 감지하고 전략을 수정하도록 유도한다.

10개 주요 모델을 대상으로 한 실험 결과, 현재의 에이전트 계획 수립 능력에는 상당한 취약점이 확인되었다. GPT-5.4는 차단 요소가 없는 상황에서 51.90%의 정확도를 기록했으나, 심각한 차단 조건에서는 11.36%까지 성능이 하락했다. 연구진은 에이전트가 명시적인 오류 신호가 없는 경우나 장애 극복을 위해 우회적인 도구 경로를 찾아야 할 때 가장 큰 어려움을 겪는다고 분석했다. 이러한 결과는 도구 가시성이 제한된 대규모 환경에서 긴 호흡의 계획 수립 작업을 관리하는 데 현재 모델들의 역량이 부족함을 시사한다.

일리노이 대학교 어바나-샴페인(University of Illinois at Urbana-Champaign) 연구진이 6월 21일 발표한 PlanBench-XL은 대규모 복잡한 도구 환경에서 LLM 에이전트의 탐색 능력을 평가하는 대화형 벤치마크이다. 이 벤치마크는 327개의 소매 작업과 1,665개의 도구 세트로 구성되어 있으며, 모델이 도구 기능을 반복적으로 호출하고 체인화하여 최종 목표를 달성하는 과정을 측정한다. 특히 실세계의 예측 불가능성을 반영하기 위해 작동 불능, 부재, 방해 요소를 포함한 차단 메커니즘을 도입하여 에이전트가 런타임 중에 경로 중단을 감지하고 전략을 수정하도록 유도한다.

10개 주요 모델을 대상으로 한 실험 결과, 현재의 에이전트 계획 수립 능력에는 상당한 취약점이 확인되었다. GPT-5.4는 차단 요소가 없는 상황에서 51.90%의 정확도를 기록했으나, 심각한 차단 조건에서는 11.36%까지 성능이 하락했다. 연구진은 에이전트가 명시적인 오류 신호가 없는 경우나 장애 극복을 위해 우회적인 도구 경로를 찾아야 할 때 가장 큰 어려움을 겪는다고 분석했다. 이러한 결과는 도구 가시성이 제한된 대규모 환경에서 긴 호흡의 계획 수립 작업을 관리하는 데 현재 모델들의 역량이 부족함을 시사한다.