컴퓨터 화면을 인간처럼 자유자재로 다루는 AI를 학습시키는 과정은 그동안 고품질 데이터의 부족으로 인해 큰 난관에 봉착해 있었다. 기존 데이터셋의 대부분은 정적인 스크린샷에 의존해왔는데, 이는 커서의 유려한 움직임이나 메뉴가 열리는 세밀한 애니메이션 효과 등을 제대로 포착하지 못한다는 치명적인 단점이 있었다.

ServiceNow의 연구진은 이러한 문제를 해결하기 위해 컴퓨터 조작 에이전트(Computer-use agents)를 위한 600만 개 이상의 비디오 프레임으로 구성된 CUA-Suite를 전격 공개했다. 이 데이터셋은 전문가가 다양한 업무용 소프트웨어에서 수행한 약 1만 개의 작업을 초당 30프레임의 연속 영상으로 담아낸 것이 특징이다. 특히 모든 커서의 운동학적 궤적과 시각적 변화를 기록함으로써, AI가 단순히 최종 결과물만 보는 것이 아니라 인간 상호작용의 시간적 역동성을 깊이 있게 학습할 수 있도록 돕는다.

해당 도구 모음에는 복잡한 환경 내 에이전트의 계획 수립 및 실행 능력을 테스트하는 UI-Vision 벤치마크도 포함되었다. 초기 테스트 결과, 최첨단 파운데이션 모델들조차 전문 데스크톱 애플리케이션 환경에서는 약 60%의 확률로 작업 수행에 실패하며 업계에 큰 경종을 울렸다. 데이터 공개를 기점으로 시각적 월드 모델 및 범용 스크린 파싱인 그라운딩 연구가 가속화되어, 더욱 정교한 자율 디지털 어시스턴트 구현에 한 걸음 더 다가설 것으로 기대된다.

컴퓨터 화면을 인간처럼 자유자재로 다루는 AI를 학습시키는 과정은 그동안 고품질 데이터의 부족으로 인해 큰 난관에 봉착해 있었다. 기존 데이터셋의 대부분은 정적인 스크린샷에 의존해왔는데, 이는 커서의 유려한 움직임이나 메뉴가 열리는 세밀한 애니메이션 효과 등을 제대로 포착하지 못한다는 치명적인 단점이 있었다.

ServiceNow의 연구진은 이러한 문제를 해결하기 위해 컴퓨터 조작 에이전트(Computer-use agents)를 위한 600만 개 이상의 비디오 프레임으로 구성된 CUA-Suite를 전격 공개했다. 이 데이터셋은 전문가가 다양한 업무용 소프트웨어에서 수행한 약 1만 개의 작업을 초당 30프레임의 연속 영상으로 담아낸 것이 특징이다. 특히 모든 커서의 운동학적 궤적과 시각적 변화를 기록함으로써, AI가 단순히 최종 결과물만 보는 것이 아니라 인간 상호작용의 시간적 역동성을 깊이 있게 학습할 수 있도록 돕는다.

해당 도구 모음에는 복잡한 환경 내 에이전트의 계획 수립 및 실행 능력을 테스트하는 UI-Vision 벤치마크도 포함되었다. 초기 테스트 결과, 최첨단 파운데이션 모델들조차 전문 데스크톱 애플리케이션 환경에서는 약 60%의 확률로 작업 수행에 실패하며 업계에 큰 경종을 울렸다. 데이터 공개를 기점으로 시각적 월드 모델 및 범용 스크린 파싱인 그라운딩 연구가 가속화되어, 더욱 정교한 자율 디지털 어시스턴트 구현에 한 걸음 더 다가설 것으로 기대된다.