KAIST 연구진, ReTrace 복구 평가 프레임워크 공개

KAIST AI 연구진은 컴퓨터 사용 에이전트가 오류에서 어떻게 복구하는지 평가하는 프레임워크 ReTrace를 10월 20일 발표된 논문에서 소개했습니다. 키보드와 마우스 동작으로 디지털 작업 흐름을 자동화하는 에이전트가 긴 작업 중 행동이 잘못됐을 때 복구할 수 있는지 살폈습니다. 연구진은 오류가 누적되고 동작이 의도하지 않은 부작용을 남길 수 있어, 장시간 작업의 신뢰성을 위해 복구가 중요하다고 설명했습니다.

연구진에 따르면 기존 방식에는 한계가 있습니다. 독점 환경에서는 환경 초기화가 어렵고, 긴 작업에서 행동을 재실행하는 데 비용이 많이 들며, API 기반 되돌리기는 웹 환경에만 제한됩니다. ReTrace는 ‘전이 일관 복구’를 정식화했습니다. 복구된 상태와 목표 상태에서 이후의 동일한 행동을 반복했을 때 결과가 일치해야 한다는 기준입니다. 프레임워크는 통제된 오류를 주입한 뒤 목표 지향 행동을 재실행해 복구를 시험합니다.

연구진은 ReTrace를 사용해 자율적 모델 기반 복구를 체계적으로 연구한 최초의 사례라고 설명한 연구를 수행했습니다. 이상적인 복구는 모델이 가진 잠재적 작업 완료 능력을 드러낼 수 있고, 현재 에이전트는 복구 능력을 효과적으로 활용하지 못하며, 정확한 복구는 작업 완료의 종단 간 개선으로 이어진다고 보고했습니다. 논문은 복구를 신뢰할 수 있는 컴퓨터 사용 에이전트의 핵심 역량으로 제시했으며, 연구진은 코드와 데이터셋을 GitHub에 공개했습니다.

KAIST AI 연구진은 컴퓨터 사용 에이전트가 오류에서 어떻게 복구하는지 평가하는 프레임워크 ReTrace를 10월 20일 발표된 논문에서 소개했습니다. 키보드와 마우스 동작으로 디지털 작업 흐름을 자동화하는 에이전트가 긴 작업 중 행동이 잘못됐을 때 복구할 수 있는지 살폈습니다. 연구진은 오류가 누적되고 동작이 의도하지 않은 부작용을 남길 수 있어, 장시간 작업의 신뢰성을 위해 복구가 중요하다고 설명했습니다.

연구진에 따르면 기존 방식에는 한계가 있습니다. 독점 환경에서는 환경 초기화가 어렵고, 긴 작업에서 행동을 재실행하는 데 비용이 많이 들며, API 기반 되돌리기는 웹 환경에만 제한됩니다. ReTrace는 ‘전이 일관 복구’를 정식화했습니다. 복구된 상태와 목표 상태에서 이후의 동일한 행동을 반복했을 때 결과가 일치해야 한다는 기준입니다. 프레임워크는 통제된 오류를 주입한 뒤 목표 지향 행동을 재실행해 복구를 시험합니다.

연구진은 ReTrace를 사용해 자율적 모델 기반 복구를 체계적으로 연구한 최초의 사례라고 설명한 연구를 수행했습니다. 이상적인 복구는 모델이 가진 잠재적 작업 완료 능력을 드러낼 수 있고, 현재 에이전트는 복구 능력을 효과적으로 활용하지 못하며, 정확한 복구는 작업 완료의 종단 간 개선으로 이어진다고 보고했습니다. 논문은 복구를 신뢰할 수 있는 컴퓨터 사용 에이전트의 핵심 역량으로 제시했으며, 연구진은 코드와 데이터셋을 GitHub에 공개했습니다.