상하이교통대 연구진은 10월 8일 컴퓨터 사용 에이전트를 훈련하기 위한 소프트웨어 환경 자동 생성 파이프라인 SoftwareGym을 공개했습니다. 논문에 따르면 네이티브 애플리케이션 환경은 구축과 통합에 많은 작업이 필요해 적용 범위가 제한되고, 에이전트가 특정 앱에 과적합할 위험이 커집니다. 반면 브라우저 기반 환경은 상호작용의 깊이와 작업 흐름의 복잡성이 제한됩니다.

SoftwareGym은 구조가 다양한 설계를 만들고, 이를 서로 다른 인터페이스와 실행 가능한 기능을 갖춘 앱으로 구현한 뒤 GUI(그래픽 사용자 인터페이스) 상호작용으로 동작을 시험하고 반복적으로 수정합니다. 연구진은 12개 범주에 걸쳐 앱 182개를 합성했으며, GUI 작업의 평균 통과율은 91.5%라고 보고했습니다. 또 같은 12개 범주를 아우르는 120개 작업 평가 모음 SoftwareGym-Bench를 만들고, 에이전트 훈련을 위해 해당 환경에서 상호작용 궤적을 수집했습니다.

수집한 궤적으로 훈련한 모델은 엄격한 도메인 외 평가 기준인 OSWorld에서 Pass@3 점수가 41.39%에서 56.97%로 올랐고, SoftwareGym-Bench에서는 40.0%를 기록했습니다. 연구진은 이 결과가 합성 소프트웨어 환경이 컴퓨터 사용 에이전트 훈련에 확장 가능하고 다른 환경에도 전이될 수 있는 학습 신호를 제공할 수 있음을 보여준다고 밝혔습니다.

상하이교통대 연구진은 10월 8일 컴퓨터 사용 에이전트를 훈련하기 위한 소프트웨어 환경 자동 생성 파이프라인 SoftwareGym을 공개했습니다. 논문에 따르면 네이티브 애플리케이션 환경은 구축과 통합에 많은 작업이 필요해 적용 범위가 제한되고, 에이전트가 특정 앱에 과적합할 위험이 커집니다. 반면 브라우저 기반 환경은 상호작용의 깊이와 작업 흐름의 복잡성이 제한됩니다.

SoftwareGym은 구조가 다양한 설계를 만들고, 이를 서로 다른 인터페이스와 실행 가능한 기능을 갖춘 앱으로 구현한 뒤 GUI(그래픽 사용자 인터페이스) 상호작용으로 동작을 시험하고 반복적으로 수정합니다. 연구진은 12개 범주에 걸쳐 앱 182개를 합성했으며, GUI 작업의 평균 통과율은 91.5%라고 보고했습니다. 또 같은 12개 범주를 아우르는 120개 작업 평가 모음 SoftwareGym-Bench를 만들고, 에이전트 훈련을 위해 해당 환경에서 상호작용 궤적을 수집했습니다.

수집한 궤적으로 훈련한 모델은 엄격한 도메인 외 평가 기준인 OSWorld에서 Pass@3 점수가 41.39%에서 56.97%로 올랐고, SoftwareGym-Bench에서는 40.0%를 기록했습니다. 연구진은 이 결과가 합성 소프트웨어 환경이 컴퓨터 사용 에이전트 훈련에 확장 가능하고 다른 환경에도 전이될 수 있는 학습 신호를 제공할 수 있음을 보여준다고 밝혔습니다.