Ropedia W0, 인간 경험을 로봇으로 확장

연구진은 10월 19일 발표한 논문에서 인간과 로봇의 행동 결과를 예측하는 세계 기반 모델 Ropedia W0를 공개했습니다. 이 모델은 이동과 물체 조작을 결합하고, 공통 표현을 사용해 신체 형태가 다른 여러 구현체에서 작동하도록 설계됐습니다.

연구진은 1만 시간 분량의 인간 시점 데이터와 3천 시간 분량의 로봇 데이터로 Xp-Data를 구축했습니다. 데이터에는 다중 모달 주석, 카메라 이동 경로, 운동학적 골격, 계층형 설명이 포함되며, 체계적인 품질 관리도 거쳤습니다. 모델은 카메라 자세로 이동을, 투영된 골격으로 조작을 표현합니다. 로봇 골격에는 로봇 구조를 바탕으로 관절 위치를 계산하는 순방향 운동학과 수동 주석 및 수정된 핵심 지점이 반영됐습니다.

연구진은 고품질 휴머노이드 원격 조작 데이터를 바탕으로 장기간 동작을 평가하는 Xp-Teleop 벤치마크도 만들었습니다. 연구진은 DreamDojo, Ψ_0, ω-HOME, Xp-Teleop, AgiBot 등 5개 신체 간 벤치마크와 학습에 포함되지 않은 인간 시점 영상에서 최고 성능을 기록했다고 보고했습니다. 평가는 제로샷 추론, 퓨샷 학습, 전체 데이터 사후 학습을 포함했습니다. 인간 데이터로 사전 학습한 양이 늘수록 인간과 로봇 평가 모두에서 결과가 향상됐습니다.

증류를 거친 Ropedia W0는 실시간 가상현실 상호작용에서 최대 수 분 길이의 시뮬레이션을 지원합니다. 연구진은 정책 평가, 모델 기반 계획, 구현체가 행동을 결정하는 데 쓰이는 세계·행동 모델링에도 적용해 시험했습니다.

연구진은 10월 19일 발표한 논문에서 인간과 로봇의 행동 결과를 예측하는 세계 기반 모델 Ropedia W0를 공개했습니다. 이 모델은 이동과 물체 조작을 결합하고, 공통 표현을 사용해 신체 형태가 다른 여러 구현체에서 작동하도록 설계됐습니다.

연구진은 1만 시간 분량의 인간 시점 데이터와 3천 시간 분량의 로봇 데이터로 Xp-Data를 구축했습니다. 데이터에는 다중 모달 주석, 카메라 이동 경로, 운동학적 골격, 계층형 설명이 포함되며, 체계적인 품질 관리도 거쳤습니다. 모델은 카메라 자세로 이동을, 투영된 골격으로 조작을 표현합니다. 로봇 골격에는 로봇 구조를 바탕으로 관절 위치를 계산하는 순방향 운동학과 수동 주석 및 수정된 핵심 지점이 반영됐습니다.

연구진은 고품질 휴머노이드 원격 조작 데이터를 바탕으로 장기간 동작을 평가하는 Xp-Teleop 벤치마크도 만들었습니다. 연구진은 DreamDojo, Ψ_0, ω-HOME, Xp-Teleop, AgiBot 등 5개 신체 간 벤치마크와 학습에 포함되지 않은 인간 시점 영상에서 최고 성능을 기록했다고 보고했습니다. 평가는 제로샷 추론, 퓨샷 학습, 전체 데이터 사후 학습을 포함했습니다. 인간 데이터로 사전 학습한 양이 늘수록 인간과 로봇 평가 모두에서 결과가 향상됐습니다.

증류를 거친 Ropedia W0는 실시간 가상현실 상호작용에서 최대 수 분 길이의 시뮬레이션을 지원합니다. 연구진은 정책 평가, 모델 기반 계획, 구현체가 행동을 결정하는 데 쓰이는 세계·행동 모델링에도 적용해 시험했습니다.