NTU, GUI 에이전트의 문맥 오류를 줄이는 FocusGUI 제안

난양기술대학교(NTU) 연구진이 GUI 에이전트를 위한 경량 어댑터 FocusGUI를 소개했습니다. FocusGUI는 각 단계마다 가장 관련성 높은 멀티모달 근거를 동적으로 선택해, 한 작업 과정에서 무관한 문맥으로 인한 오류가 누적되는 것을 막는 것을 목표로 합니다.

논문에 따르면 GUI 에이전트는 스크린샷, 오디오, 영상, 상호작용 기록, 기기 상태 등 연속적인 옴니모달 관찰을 바탕으로 점점 더 많이 작동합니다. 그러나 모든 단계에서 전체 문맥을 균일하게 노출하면, 한 시점의 행동을 결정하는 신호가 다음 시점에는 잡음이 될 수 있습니다. 실행된 행동이 다시 문맥에 반영되면서 이러한 오류는 연구진이 '순차적 주의분산(Sequential Distraction)'이라 부르는 형태로 누적되고, 결국 에이전트를 되돌릴 수 없는 궤적 이탈로 몰아갈 수 있습니다.

연구진은 이에 대한 해법으로 '집중 지각(Focused Perception)'을 제시합니다. 이는 단계에 따라 적응하고, 행동에 충분하며, 방해가 되지 않는 표현 방식입니다. FocusGUI는 단계별 판단 기준에 맞춰 멀티모달 채널의 우선순위를 정하고, 가장 관련성 높은 근거를 압축된 잠재 표현으로 만든 뒤 동결된 디코더의 임베딩에 은근하게 주입합니다. 이를 통해 모델 고유의 파라미터 공간을 바꾸지 않고도 모델의 주의를 유도합니다. 이 어댑터는 모달리티 관련성 레이블이나 백본 미세조정 없이, 행동 지도 신호만으로 학습됩니다.

논문은 네 가지 옴니모달 백본에서 실험한 결과, FocusGUI가 동결된 백본 대비 전체 Type Match를 평균 +33.2, Exact Match를 3.0배 끌어올렸다고 보고합니다. 또한 기존 최강 개선 기법 대비 Type Match가 +30.1 향상되었습니다. 이 논문은 2026년 10월 21일 제출되었으며, Hugging Face에서 그날의 1위 논문으로 선정되었고, 프로젝트 페이지와 GitHub 저장소는 arXiv 페이지에 연결되어 있습니다.

난양기술대학교(NTU) 연구진이 GUI 에이전트를 위한 경량 어댑터 FocusGUI를 소개했습니다. FocusGUI는 각 단계마다 가장 관련성 높은 멀티모달 근거를 동적으로 선택해, 한 작업 과정에서 무관한 문맥으로 인한 오류가 누적되는 것을 막는 것을 목표로 합니다.

논문에 따르면 GUI 에이전트는 스크린샷, 오디오, 영상, 상호작용 기록, 기기 상태 등 연속적인 옴니모달 관찰을 바탕으로 점점 더 많이 작동합니다. 그러나 모든 단계에서 전체 문맥을 균일하게 노출하면, 한 시점의 행동을 결정하는 신호가 다음 시점에는 잡음이 될 수 있습니다. 실행된 행동이 다시 문맥에 반영되면서 이러한 오류는 연구진이 '순차적 주의분산(Sequential Distraction)'이라 부르는 형태로 누적되고, 결국 에이전트를 되돌릴 수 없는 궤적 이탈로 몰아갈 수 있습니다.

연구진은 이에 대한 해법으로 '집중 지각(Focused Perception)'을 제시합니다. 이는 단계에 따라 적응하고, 행동에 충분하며, 방해가 되지 않는 표현 방식입니다. FocusGUI는 단계별 판단 기준에 맞춰 멀티모달 채널의 우선순위를 정하고, 가장 관련성 높은 근거를 압축된 잠재 표현으로 만든 뒤 동결된 디코더의 임베딩에 은근하게 주입합니다. 이를 통해 모델 고유의 파라미터 공간을 바꾸지 않고도 모델의 주의를 유도합니다. 이 어댑터는 모달리티 관련성 레이블이나 백본 미세조정 없이, 행동 지도 신호만으로 학습됩니다.

논문은 네 가지 옴니모달 백본에서 실험한 결과, FocusGUI가 동결된 백본 대비 전체 Type Match를 평균 +33.2, Exact Match를 3.0배 끌어올렸다고 보고합니다. 또한 기존 최강 개선 기법 대비 Type Match가 +30.1 향상되었습니다. 이 논문은 2026년 10월 21일 제출되었으며, Hugging Face에서 그날의 1위 논문으로 선정되었고, 프로젝트 페이지와 GitHub 저장소는 arXiv 페이지에 연결되어 있습니다.