GPT-6-Astra, 실용적 물리 지능에는 미달
- •SenseNova 연구진, GPT-6-Astra의 12개 로봇 벤치마크 성과와 실용적 물리 지능의 한계 보고
- •8개 로봇 구성 실험에서 시연 수집 비용과 실행 시간 연장의 물리적 한계 확인
- •실제 과업·도메인 내 시연 배제·숙고 중에도 흐르는 세계 시계를 반영한 벤치마크 제안
SenseNova와 공동 연구팀은 GPT-6-Astra가 로봇 과업에서 좋은 성과를 냈지만, 아직 실용적 물리 지능에는 도달하지 못했다고 밝혔습니다. 10월 15일 공개되고 10월 19일 Hugging Face에 제출된 논문은 탁상 조작, 휴머노이드 로봇, 이동형 플랫폼, 손재주가 필요한 조작 등 12개 벤치마크에서 시스템을 평가했습니다. 공통 평가 방식에서는 GPT-6-Astra가 학습 세트의 시연을 문맥 안에서 제공받고 훨씬 많은 실행 단계를 사용할 수 있었으며, 연구진은 이 조건에서 전례 없는 성능을 보고했습니다.
연구진은 추가 연구가 필요한 영역으로 문맥 내 학습의 일반화, 시연 비용과 실행 시간 절감, 물리 상태 검증, 되돌릴 수 없는 실패에서의 복구, 장시간 과업에서의 진행 상황 유지를 꼽았습니다. GPT-6-Astra가 고수준 추론을 맡고 π0.5 같은 저수준 제어기와 폐루프 방식으로 협력하는 방법은 비용이 많이 들지만 효과적이라고도 평가했습니다.
8개 로봇 구성으로 진행한 실제 실험에서는 실용상의 한계가 드러났습니다. 문맥 내 학습에 필요한 로봇 시연을 모으는 데 비용이 많이 들고, 성공률을 높이기 위해 실행 시간을 단순히 늘리는 방안은 물리적 제약 때문에 현실성이 낮다는 것입니다. 연구팀은 실제 필요에서 과업을 만들고, 해당 영역의 시연을 제공하지 않으며, 에이전트가 숙고하는 동안에도 계속 흐르는 세계 시계를 기준으로 평가하는 미래 물리 지능 벤치마크 시제품을 제안했습니다. 연구진은 GPT-6-Astra가 물리적 과업 수행 능력에는 대체로 도달했지만, 실용적 물리 지능에는 아직 이르지 못했다고 결론 내렸습니다.