휴머노이드 로봇이 컵을 잡거나 문을 여는 등 물리적 세계와 상호작용하도록 가르치는 일은 그간 로봇 공학의 고질적인 난제였다. 기존 방식은 정밀하게 라벨링된 방대한 실세계 데이터가 필요했기에 비용이 많이 들고 확장이 어렵다는 한계가 있었다. 새로운 연구인 ExoActor는 로봇에게 직접적인 감각 데이터만 주입하는 대신, 비디오 생성 모델의 일반화 능력을 활용해 로봇이 상호작용의 모습을 스스로 '상상'하게 하는 영리한 대안을 제시한다.

ExoActor의 핵심은 3인칭 비디오 생성을 로봇과 환경, 그리고 그 안의 객체들 사이의 복잡한 움직임을 모델링하는 보편적 인터페이스로 활용하는 것이다. 특정 작업 지시와 장면 문맥을 모델에 입력하면, ExoActor는 원하는 동작이 수행되는 그럴듯한 비디오 시퀀스를 생성한다. 이 비디오는 단순한 시각적 결과를 넘어, 복잡한 물리적 작업을 완수하는 데 필요한 미묘한 공간적·시간적 역학을 담은 청사진 역할을 한다.

비디오가 생성되면 시스템은 이를 단순히 감상하는 데 그치지 않고 실행 가능한 데이터로 처리한다. 모션 추정 파이프라인은 합성 비디오에서 사람과 유사한 움직임을 추출하여 범용 제어기로 전달한다. 이 제어기는 로봇이 사전에 실세계에서 연습하지 않았더라도 해당 작업을 수행할 수 있도록 명령을 실행한다. 이는 현대 생성형 AI 모델의 힘과 로봇 공학의 물리적 제약 사이를 잇는 교량과 같다.

이 접근 방식은 모델이 새로운 시나리오에 맞춰 즉각적으로 상호작용 시퀀스를 생성할 수 있어 데이터 부담을 크게 줄여준다. 물론 초기 생성형 시스템이 겪는 일반적인 한계는 존재하지만, 이 프레임워크는 범용 휴머노이드 지능을 향한 중요한 진전으로 평가된다. 작업 계획과 물리적 실행을 생성형 인터페이스로 분리함으로써, ExoActor는 이미 존재하는 방대한 비정형 시각 데이터를 활용해 로봇을 학습시킬 수 있는 확장성 있는 경로를 열었다.

휴머노이드 로봇이 컵을 잡거나 문을 여는 등 물리적 세계와 상호작용하도록 가르치는 일은 그간 로봇 공학의 고질적인 난제였다. 기존 방식은 정밀하게 라벨링된 방대한 실세계 데이터가 필요했기에 비용이 많이 들고 확장이 어렵다는 한계가 있었다. 새로운 연구인 ExoActor는 로봇에게 직접적인 감각 데이터만 주입하는 대신, 비디오 생성 모델의 일반화 능력을 활용해 로봇이 상호작용의 모습을 스스로 '상상'하게 하는 영리한 대안을 제시한다.

ExoActor의 핵심은 3인칭 비디오 생성을 로봇과 환경, 그리고 그 안의 객체들 사이의 복잡한 움직임을 모델링하는 보편적 인터페이스로 활용하는 것이다. 특정 작업 지시와 장면 문맥을 모델에 입력하면, ExoActor는 원하는 동작이 수행되는 그럴듯한 비디오 시퀀스를 생성한다. 이 비디오는 단순한 시각적 결과를 넘어, 복잡한 물리적 작업을 완수하는 데 필요한 미묘한 공간적·시간적 역학을 담은 청사진 역할을 한다.

비디오가 생성되면 시스템은 이를 단순히 감상하는 데 그치지 않고 실행 가능한 데이터로 처리한다. 모션 추정 파이프라인은 합성 비디오에서 사람과 유사한 움직임을 추출하여 범용 제어기로 전달한다. 이 제어기는 로봇이 사전에 실세계에서 연습하지 않았더라도 해당 작업을 수행할 수 있도록 명령을 실행한다. 이는 현대 생성형 AI 모델의 힘과 로봇 공학의 물리적 제약 사이를 잇는 교량과 같다.

이 접근 방식은 모델이 새로운 시나리오에 맞춰 즉각적으로 상호작용 시퀀스를 생성할 수 있어 데이터 부담을 크게 줄여준다. 물론 초기 생성형 시스템이 겪는 일반적인 한계는 존재하지만, 이 프레임워크는 범용 휴머노이드 지능을 향한 중요한 진전으로 평가된다. 작업 계획과 물리적 실행을 생성형 인터페이스로 분리함으로써, ExoActor는 이미 존재하는 방대한 비정형 시각 데이터를 활용해 로봇을 학습시킬 수 있는 확장성 있는 경로를 열었다.