워싱턴대 연구진이 시각 정보를 이용하고 전신 움직임을 조율해 던져진 상자를 받는 휴머노이드 로봇 시스템 Reflex를 발표했습니다. 연구 논문은 10월 8일 공개됐으며 10월 12일 Hugging Face Papers에 제출됐습니다. 상자를 받으려면 로봇이 몸 전체의 움직임을 조정하고, 상자의 움직임에 실시간으로 대응하며, 로봇 카메라가 포착한 장면을 해석해야 합니다. 기존 시스템은 말단 장치나 동작 캡처, 표식이 있는 물체에 의존해 이 과제의 일부만 처리했습니다.

Reflex는 세 단계로 능력을 학습합니다. 첫 단계에서는 강화학습(보상에 따라 행동을 개선하는 학습 방식)을 통해 전신으로 상자를 받는 정책을 익힙니다. 둘째 단계에서는 지연되거나 불완전한 관측만으로 움직이는 상자의 동역학을 추론합니다. 셋째 단계에서는 1인칭 시각(RGB-D 카메라 기반 깊이·색상 정보) 인코더가 시각 관측에서 상자의 움직임 정보를 복원하며, 전신 제어기는 고정된 상태로 유지됩니다. 물체 동역학을 압축한 표현이 각 단계를 연결합니다. 연구진은 이러한 분해가 각 능력에 직접적인 학습 신호를 제공하고 시각 학습의 확장성을 높인다고 설명했습니다.

시뮬레이션에서 Reflex는 1인칭 RGB-D 입력을 사용할 때 시행의 85.7%에서 상자를 받았고, 상자에 대한 특권적 관측 정보를 받았을 때 성공률은 87.9%였습니다. 과거 시각 관측 기록을 제거하면 정면으로 던진 경우 성공률이 35.6%포인트, 옆으로 비켜 던진 경우 39.8%포인트 낮아졌습니다. 실제 Unitree G1 휴머노이드에서는 사람이 던진 상자를 2.5m 거리에서 65%, 5m 거리에서 40%의 성공률로 받았습니다. 이 성공률은 같은 거리에서 사람 포수가 기록한 성공률의 각각 76%와 59%였습니다. 연구는 시스템이 결합하도록 설계된 세 가지 능력이 필요한 과제로 상자 받기를 사용했습니다.

워싱턴대 연구진이 시각 정보를 이용하고 전신 움직임을 조율해 던져진 상자를 받는 휴머노이드 로봇 시스템 Reflex를 발표했습니다. 연구 논문은 10월 8일 공개됐으며 10월 12일 Hugging Face Papers에 제출됐습니다. 상자를 받으려면 로봇이 몸 전체의 움직임을 조정하고, 상자의 움직임에 실시간으로 대응하며, 로봇 카메라가 포착한 장면을 해석해야 합니다. 기존 시스템은 말단 장치나 동작 캡처, 표식이 있는 물체에 의존해 이 과제의 일부만 처리했습니다.

Reflex는 세 단계로 능력을 학습합니다. 첫 단계에서는 강화학습(보상에 따라 행동을 개선하는 학습 방식)을 통해 전신으로 상자를 받는 정책을 익힙니다. 둘째 단계에서는 지연되거나 불완전한 관측만으로 움직이는 상자의 동역학을 추론합니다. 셋째 단계에서는 1인칭 시각(RGB-D 카메라 기반 깊이·색상 정보) 인코더가 시각 관측에서 상자의 움직임 정보를 복원하며, 전신 제어기는 고정된 상태로 유지됩니다. 물체 동역학을 압축한 표현이 각 단계를 연결합니다. 연구진은 이러한 분해가 각 능력에 직접적인 학습 신호를 제공하고 시각 학습의 확장성을 높인다고 설명했습니다.

시뮬레이션에서 Reflex는 1인칭 RGB-D 입력을 사용할 때 시행의 85.7%에서 상자를 받았고, 상자에 대한 특권적 관측 정보를 받았을 때 성공률은 87.9%였습니다. 과거 시각 관측 기록을 제거하면 정면으로 던진 경우 성공률이 35.6%포인트, 옆으로 비켜 던진 경우 39.8%포인트 낮아졌습니다. 실제 Unitree G1 휴머노이드에서는 사람이 던진 상자를 2.5m 거리에서 65%, 5m 거리에서 40%의 성공률로 받았습니다. 이 성공률은 같은 거리에서 사람 포수가 기록한 성공률의 각각 76%와 59%였습니다. 연구는 시스템이 결합하도록 설계된 세 가지 능력이 필요한 과제로 상자 받기를 사용했습니다.