Sakana AI와 도쿄대 연구진이 시각·언어 모델로 로봇 궤적을 생성하는 방법인 맥락 내 모방 학습 확장(SAIL)을 개발해 IROS 2026에서 발표할 예정입니다. 연구진은 시뮬레이션과 실제 로봇에서 SAIL을 시험해 피드백과 테스트 시점의 추가 연산이 생성된 동작의 신뢰성을 높이는지 살폈습니다.

SAIL은 정책 시각·언어 모델에 성공 사례 몇 개를 입력해 로봇 궤적을 생성합니다. 생성된 궤적을 시뮬레이터에서 실행하면, 평가 시각·언어 모델이 결과 영상에서 진행이 막힌 지점을 찾습니다. 정책 모델은 그 피드백을 바탕으로 궤적을 수정합니다. 몬테카를로 트리 탐색은 가능한 동작 순서를 살피며 유망한 후보를 다듬고, 최종 선택된 궤적만 실제 로봇에 전달됩니다.

시뮬레이션 조작 과제 6개에서 탐색 후보를 1개에서 45개로 늘리자 성공 궤적을 찾는 평균 비율이 25%에서 73%로 상승했습니다. 연구진은 실제 로봇에서도 SAIL을 평가했지만, 해당 결과의 수치는 공개하지 않았습니다. 연구진은 이번 결과가 테스트 시점의 추가 연산으로 모델이 시뮬레이션에서 제안한 동작을 시험하고 개선할 수 있음을 시사한다고 밝혔습니다. 기존 모델이 이런 피드백을 얼마나 활용할 수 있는지, 개선 효과가 실제 로봇에도 얼마나 이어지는지는 추가 연구가 필요하다고 덧붙였습니다.

Sakana AI와 도쿄대 연구진이 시각·언어 모델로 로봇 궤적을 생성하는 방법인 맥락 내 모방 학습 확장(SAIL)을 개발해 IROS 2026에서 발표할 예정입니다. 연구진은 시뮬레이션과 실제 로봇에서 SAIL을 시험해 피드백과 테스트 시점의 추가 연산이 생성된 동작의 신뢰성을 높이는지 살폈습니다.

SAIL은 정책 시각·언어 모델에 성공 사례 몇 개를 입력해 로봇 궤적을 생성합니다. 생성된 궤적을 시뮬레이터에서 실행하면, 평가 시각·언어 모델이 결과 영상에서 진행이 막힌 지점을 찾습니다. 정책 모델은 그 피드백을 바탕으로 궤적을 수정합니다. 몬테카를로 트리 탐색은 가능한 동작 순서를 살피며 유망한 후보를 다듬고, 최종 선택된 궤적만 실제 로봇에 전달됩니다.

시뮬레이션 조작 과제 6개에서 탐색 후보를 1개에서 45개로 늘리자 성공 궤적을 찾는 평균 비율이 25%에서 73%로 상승했습니다. 연구진은 실제 로봇에서도 SAIL을 평가했지만, 해당 결과의 수치는 공개하지 않았습니다. 연구진은 이번 결과가 테스트 시점의 추가 연산으로 모델이 시뮬레이션에서 제안한 동작을 시험하고 개선할 수 있음을 시사한다고 밝혔습니다. 기존 모델이 이런 피드백을 얼마나 활용할 수 있는지, 개선 효과가 실제 로봇에도 얼마나 이어지는지는 추가 연구가 필요하다고 덧붙였습니다.