AI 에이전트의 실력, 벤치마크만으로 알 수 있을까요?
AI가 화면을 읽고 프로그램을 조작하며 일을 처리하기 시작했습니다. 이제 성능을 판단하는 질문도 달라집니다. 무엇을 아는지를 넘어, 실제로 어디까지 일을 끝낼 수 있는지 확인해야 합니다.
어제 OSWorld 공동저자 톈바오 셰(Tianbao Xie)와 영상 미팅을 했습니다. 모델의 점수와 실제 제품의 업무 능력은 어떻게 다른지, 에이전트가 발전할수록 성능을 측정하기 어려워지는 이유를 이야기했습니다.
OSWorld, 실제 컴퓨터 업무를 시험하다
OSWorld는 AI에게 실제 운영체제와 프로그램을 사용해 과제를 수행하도록 하는 평가 환경입니다. 2024년 원논문의 주요 평가는 Ubuntu 환경의 369개 과제로 구성됐습니다. Chrome, GIMP, LibreOffice 등에서 설정을 바꾸고 파일을 수정하며 여러 자료를 오갑니다.
시험은 초기 파일과 설정을 준비하는 것부터 시작합니다. 에이전트가 작업을 마치면 평가 코드가 실제 파일과 설정을 확인합니다. AI의 ‘완료했습니다’라는 답변이 아니라 실행 결과를 채점합니다.
관찰 조건에는 스크린샷, 화면 요소의 구조와 텍스트를 담은 접근성 트리 등이 있습니다. 제공되는 정보와 허용된 행동 횟수가 다르면 결과도 달라집니다. OSWorld 원논문
장기 업무에서 드러나는 완수의 어려움
OSWorld 2.0은 108개의 장기 워크플로로 평가 범위를 넓혔습니다. 사람이 과제를 끝내는 데 걸리는 시간의 중앙값은 약 1.6시간입니다.
출장비 정산 사례에서는 지침 PDF, 이메일 영수증, 은행 기록, 과거 보고서를 대조합니다. 새 이메일로 조건이 바뀌면 계획을 수정하고, 증빙이 모순되면 사용자에게 질문해야 합니다. 정보의 일관성과 작업 진행 상태까지 관리하는 과제입니다.
평가는 과제당 평균 27.25개의 체크포인트로 구성됩니다. 모든 요구를 충족한 완수율과 일부만 처리한 부분 점수를 구분합니다. 2.0 논문의 2026년 6월 24일 릴리스·스크린샷 관찰·500단계·묶음 행동 조건에서 Claude Opus 4.8 max는 완수율 20.6%, 부분 점수 54.8%를 기록했습니다. OSWorld 2.0 논문
AI의 발전 속도를 따라가는 벤치마크
실제 프로그램을 사용하는 시험은 환경 변화에 영향을 받습니다. 웹사이트가 바뀌고, 프로그램 실행이 늦어지고, 초기 파일 상태가 어긋납니다. 기능적으로 같은 스프레드시트 수식을 채점기가 오답으로 처리할 수도 있습니다.
2025년 OSWorld-Verified는 300건이 넘는 피드백을 검토하며 이런 문제를 수정했습니다. 점수 변화에는 모델뿐 아니라 시험 환경과 채점 방식의 변화도 영향을 줍니다. OSWorld-Verified
Tianbao는 선도 연구소의 발전 속도가 빨라지면서 V1보다 V2의 변별력이 더 빠르게 약해지고 있다고 평가했습니다. 더 어려운 과제를 추가하는 것만으로 평가의 지속적인 가치를 확보할 수 있을지도 고민하고 있었습니다.
여기서 포화는 특정 선도 집단을 구분하는 능력의 약화이지, 모든 모델이 현실의 모든 업무를 해결했다는 의미는 아닙니다. 연구의 다음 한계를 찾는 평가와 실제 사용자의 업무를 예측하는 평가는 서로 다른 과제를 요구합니다.
같은 모델의 성능을 바꾸는 하네스
저는 모델 자체의 성능과 실제 에이전트 제품의 능력을 구분해야 하지 않겠느냐고 물었습니다. Tianbao는 ‘하네스(Harness)’를 포함해 봐야 한다고 설명했습니다.
하네스는 모델이 일하도록 만드는 실행 코드, 도구 연결, 관찰·행동 체계입니다. 무엇을 보여주고, 어떤 도구를 제공하며, 선택한 행동을 어떻게 실행하는지가 포함됩니다. Codex의 실행 코드 역시 반복해서 개선된 시스템의 일부라는 설명도 나왔습니다.
모델끼리 비교하려면 주변 조건을 최대한 맞춰야 합니다. 반면 제품을 비교하려면 각 제품이 실제 제공하는 도구와 실행 방식을 포함해야 합니다. 조건을 통일하겠다고 연결 기능을 제거하면 사용자가 구매하는 제품의 장점까지 지워버릴 수 있습니다.
따라서 평가에서는 모델과 하네스의 조합, 실행 조건을 함께 밝혀야 합니다.
무엇을 보고 어떻게 행동하는가
스크린샷을 받는 에이전트는 이미지에서 버튼을 찾아야 합니다. 접근성 트리를 받는 에이전트는 구조화된 요소와 텍스트를 활용할 수 있습니다.
Tianbao는 접근성 정보가 충분하면 시각 능력이 제한적인 모델도 작업할 수 있다고 설명했습니다. 다만 정보의 누락과 지연 때문에 순수 시각 기반 접근도 장기적으로 중요하게 봤습니다.
행동 방식도 성능을 바꿉니다. Tianbao가 든 예는 입력칸 100개짜리 양식이었습니다. 항목마다 모델을 다시 호출하는 방식과 코드로 여러 입력을 묶어 실행하는 방식은 왕복 횟수와 지연이 다릅니다. 중간에 화면이 바뀌면 다시 관찰해야 하므로 묶음 실행의 범위도 설계해야 합니다.
같은 ‘500단계’라도 한 단계에 허용되는 작업량이 다를 수 있습니다. API나 명령줄을 활용하는 제품과 화면을 클릭하는 제품 역시 수행 조건이 다릅니다. 화면 조작 능력을 시험하는지, 허용된 수단으로 업무를 끝내는 능력을 시험하는지에 따라 비교 기준이 달라집니다.
현지 서비스 연결이 좌우하는 업무 완수
미팅에서는 한국과 일본의 별도 인증 앱, 승인 절차, 외부 연결 제한 때문에 구매나 가입을 끝내기 어려운 문제도 이야기했습니다. Tianbao는 현지 서비스에 대응하려면 모델뿐 아니라 연결 기능, 제휴와 운영 준비가 필요하다고 봤습니다.
업무가 멈췄을 때는 원인을 나눠야 합니다. 요청을 이해하지 못한 것인지, 화면을 조작하지 못한 것인지, 필요한 연결이 없는 것인지, 사용자의 승인을 기다리는 것인지는 서로 다릅니다.
인증과 연결 제약을 시험에서 없애면 현실의 업무를 지나치게 쉽게 만들 수 있습니다. 필요한 확인을 요청하고, 확인 후 작업을 이어가는 능력도 평가해야 합니다. 지역별 평가는 지시문의 번역뿐 아니라 실제 사용하는 서비스와 업무 절차까지 반영해야 합니다.
사용자를 알아가는 AI의 평가 난제
대화 후반부에는 지속 학습이 등장했습니다. Tianbao는 에이전트가 사용자의 상황과 선호를 깊이 이해할수록, 다른 서비스에 그 맥락을 다시 전달하는 비용도 커질 것이라고 봤습니다.
이를 평가에 적용하면 새로운 문제가 생깁니다. 매번 초기화하면 축적된 맥락의 가치를 놓칩니다. 각자 쌓인 이력을 그대로 두면 동일한 조건의 비교가 어려워집니다. 처음 쓰는 상태와 오래 사용한 상태를 나눠 봐야 한다는 질문이 생깁니다.
기억을 저장·검색하는 기능과 모델의 가중치를 갱신하는 지속 학습도 다른 기술입니다. 사용하면서 성능이 좋아졌다면 무엇이 바뀌었는지 설명해야 합니다.
점수 너머, 실제 업무 능력을 측정하려면
에이전트의 성능표에는 모델과 하네스, 과제 버전, 관찰 정보와 허용 도구, 실행 예산이 함께 제시돼야 합니다. 결과에서는 부분 진척과 최종 완수를 구분하고, 시간·비용·사용자 개입과 안전한 수행도 살펴야 합니다.
AIB가 전문적인 평가를 일반 사용자에게 전달할 때도 이 차이를 지우지 않아야 한다고 생각합니다. 무엇을 보고, 어떤 도구를 쓰고, 어느 환경에서, 누구의 도움을 받아 어디까지 끝냈는지. 이것이 AI 에이전트의 실력을 설명하는 기준이 되어야 합니다.