RoboColosseum, 네 가지 로봇 형태에서 정책 평가

연구진이 여러 환경에서 현지 운영 로봇의 정책을 평가하는 분산형 프레임워크 RoboColosseum을 공개했습니다. 11월 2일 발표된 논문은 SO-101, Franka, Bimanual-YAM, G1 휴머노이드 등 네 가지 로봇 형태에서 시각·언어·행동(VLA) 정책 5종과 선도 AI 에이전트 3종을 시험했습니다. 이 프레임워크는 통합 정책 제공 방식과 표준화된 절차를 사용해 서로 다른 장소의 시험 결과를 비교할 수 있게 합니다.

오픈 트랙에서 연구진은 과제별 조정 없이, 현지 조건을 맞춰 124개 현장에서 눈가림 방식의 쌍별 비교 5,699회를 진행했습니다. 선도 에이전트는 특정 작업에 맞춘 VLA 정책과 비슷한 성능을 보였지만, 모든 시스템이 다양한 실제 환경의 과제를 안정적으로 완료하는 데 어려움을 겪었습니다. 미세조정 트랙에서는 20개 과제에서 VLA 정책을 시험했으며, 각 정책에 과제당 동일하게 시연 100회를 제공했습니다. 미세조정 후 GR00T N1.7은 SO-101에서, pi0.5는 Franka와 Bimanual-YAM에서 각각 가장 높은 성과를 냈습니다.

로봇 형태별 과제 묶음의 순위 일치도는 낮았습니다(켄달 W = 0.24). 오픈 트랙 순위도 미세조정 이후 성능을 잘 예측하지 못했고, 두 트랙 모두에서 시험한 세 가지 로봇 형태 모두에서 순위가 크게 뒤바뀌었습니다. 연구진은 과제의 부분 진행률도 측정했습니다. G1 휴머노이드에서는 다섯 과제 중 어느 것도 완료한 정책이 없었지만, 정책별 평균 진행률은 13.3%에서 23.2% 사이였습니다. 오픈 트랙 순위는 시험 횟수가 쌓일수록 안정됐으며, 능동 매칭은 균일 표본 추출보다 실제 로봇 시험을 크게 줄이면서도 비슷한 순위 일치도를 달성했습니다.

연구진이 여러 환경에서 현지 운영 로봇의 정책을 평가하는 분산형 프레임워크 RoboColosseum을 공개했습니다. 11월 2일 발표된 논문은 SO-101, Franka, Bimanual-YAM, G1 휴머노이드 등 네 가지 로봇 형태에서 시각·언어·행동(VLA) 정책 5종과 선도 AI 에이전트 3종을 시험했습니다. 이 프레임워크는 통합 정책 제공 방식과 표준화된 절차를 사용해 서로 다른 장소의 시험 결과를 비교할 수 있게 합니다.

오픈 트랙에서 연구진은 과제별 조정 없이, 현지 조건을 맞춰 124개 현장에서 눈가림 방식의 쌍별 비교 5,699회를 진행했습니다. 선도 에이전트는 특정 작업에 맞춘 VLA 정책과 비슷한 성능을 보였지만, 모든 시스템이 다양한 실제 환경의 과제를 안정적으로 완료하는 데 어려움을 겪었습니다. 미세조정 트랙에서는 20개 과제에서 VLA 정책을 시험했으며, 각 정책에 과제당 동일하게 시연 100회를 제공했습니다. 미세조정 후 GR00T N1.7은 SO-101에서, pi0.5는 Franka와 Bimanual-YAM에서 각각 가장 높은 성과를 냈습니다.

로봇 형태별 과제 묶음의 순위 일치도는 낮았습니다(켄달 W = 0.24). 오픈 트랙 순위도 미세조정 이후 성능을 잘 예측하지 못했고, 두 트랙 모두에서 시험한 세 가지 로봇 형태 모두에서 순위가 크게 뒤바뀌었습니다. 연구진은 과제의 부분 진행률도 측정했습니다. G1 휴머노이드에서는 다섯 과제 중 어느 것도 완료한 정책이 없었지만, 정책별 평균 진행률은 13.3%에서 23.2% 사이였습니다. 오픈 트랙 순위는 시험 횟수가 쌓일수록 안정됐으며, 능동 매칭은 균일 표본 추출보다 실제 로봇 시험을 크게 줄이면서도 비슷한 순위 일치도를 달성했습니다.