UCL 연구진, 에이전트 적응력 벤치마크 공개

런던대학교(UCL) 연구진이 사용 가능한 도구가 바뀔 때 AI 에이전트가 적응하는지 시험하는 실행형 벤치마크 Δτ-Bench를 발표했습니다. 논문은 10월 25일 공개됐으며, 슈페이 치아오(Shuofei Qiao)가 10월 27일 제출했습니다. 이 벤치마크는 서비스가 서로 독립적으로 발전하는 도구 생태계를 모델링합니다. 익숙한 도구가 사라지거나 교체되고, 더 효율적인 대안이 등장할 수 있으며, 문서에는 잡음이 섞일 수 있습니다. 에이전트가 효과적인 도구 사용법을 찾고, 활용 가능한 기능이 변함에 따라 절차적 지식을 갱신하는지를 평가합니다.

Δτ-Bench는 42개 분야와 연속된 6개 생태계 상태에 걸쳐 검증된 다중 대화 과제 1,588개로 구성됩니다. 각 상태는 기능을 보존하는 변환을 통해 생성됩니다. 평가된 모델 또는 실행 체계 가운데 최고 성능은 과제 성공률 42.3%였습니다. 연구진은 기존 기술 학습 방법의 성과 향상이 생태계 변화에 따른 적응력 향상으로 일관되게 이어지지는 않았다고 보고했습니다.

연구진은 과제 실행 중 점진적인 기술 유지와 동적 프로비저닝을 통해 도구와 절차적 지식을 관리하는 생태계 관리자 Steward도 제안했습니다. 실험에서 Steward는 생태계가 바뀌는 동안 더 낮은 기술 유지 관리 부담으로 높은 과제 성공률을 유지했습니다. 또한 중단된 작업 흐름을 복구하고 더 효율적인 대안을 채택하는 능력도 개선했습니다.

런던대학교(UCL) 연구진이 사용 가능한 도구가 바뀔 때 AI 에이전트가 적응하는지 시험하는 실행형 벤치마크 Δτ-Bench를 발표했습니다. 논문은 10월 25일 공개됐으며, 슈페이 치아오(Shuofei Qiao)가 10월 27일 제출했습니다. 이 벤치마크는 서비스가 서로 독립적으로 발전하는 도구 생태계를 모델링합니다. 익숙한 도구가 사라지거나 교체되고, 더 효율적인 대안이 등장할 수 있으며, 문서에는 잡음이 섞일 수 있습니다. 에이전트가 효과적인 도구 사용법을 찾고, 활용 가능한 기능이 변함에 따라 절차적 지식을 갱신하는지를 평가합니다.

Δτ-Bench는 42개 분야와 연속된 6개 생태계 상태에 걸쳐 검증된 다중 대화 과제 1,588개로 구성됩니다. 각 상태는 기능을 보존하는 변환을 통해 생성됩니다. 평가된 모델 또는 실행 체계 가운데 최고 성능은 과제 성공률 42.3%였습니다. 연구진은 기존 기술 학습 방법의 성과 향상이 생태계 변화에 따른 적응력 향상으로 일관되게 이어지지는 않았다고 보고했습니다.

연구진은 과제 실행 중 점진적인 기술 유지와 동적 프로비저닝을 통해 도구와 절차적 지식을 관리하는 생태계 관리자 Steward도 제안했습니다. 실험에서 Steward는 생태계가 바뀌는 동안 더 낮은 기술 유지 관리 부담으로 높은 과제 성공률을 유지했습니다. 또한 중단된 작업 흐름을 복구하고 더 효율적인 대안을 채택하는 능력도 개선했습니다.