현재의 시각 언어 모델(VLM)은 이미지를 묘사하는 데는 뛰어나지만, 실제 물리 세계의 복잡성을 다루는 데는 종종 한계를 드러낸다. 이에 따라 지치앙 후(Zhiqiang Hu, Social AI Studio 소속 연구원)와 연구진은 수동적 인식을 넘어선 AI를 구현하고자 3D 물리 기반 테스트베드인 'CHAIN(Causal Hierarchy of Actions and Interactions)'을 도입했다. 정적인 이미지 분석에 의존하던 기존 방식과 달리, CHAIN은 기하학적 구조와 지지 관계가 역동적인 환경 내에서 가능한 행동을 어떻게 결정하는지 모델이 직접 이해하도록 요구한다.

특히 이번 벤치마크는 AI가 물리적 제약을 준수하며 물체를 조작해야 하는 '구조화된 행동 시퀀스'에 초점을 맞춘다. 여기에는 서로 맞물린 기계 퍼즐을 풀거나 3D 물체를 정교하게 쌓는 것과 같은 복잡한 과업이 포함된다. 인식과 실행 사이의 루프를 연결하게 함으로써, CHAIN은 현대 AI가 물리 세계의 근본적인 인과 구조를 내면화하는 데 겪는 심각한 결함을 부각한다.

최첨단 모델들을 대상으로 테스트를 진행한 결과, 로보틱스 분야가 마주한 냉혹한 현실이 드러났다. 실제로 가장 진보된 시스템조차 신뢰할 수 있는 다단계 계획을 생성하는 데 빈번히 실패했으며, 특히 '보는 것'을 논리적인 물리적 상호작용의 연속으로 변환하는 과정에서 어려움을 겪었다. 이러한 결과는 AI가 가정이나 공장에서 진정한 임보디드 에이전트(Embodied agents)로 기능하기 위해, 단순 인식을 넘어선 공간 추론 능력을 확보해야 함을 시사한다.

현재의 시각 언어 모델(VLM)은 이미지를 묘사하는 데는 뛰어나지만, 실제 물리 세계의 복잡성을 다루는 데는 종종 한계를 드러낸다. 이에 따라 지치앙 후(Zhiqiang Hu, Social AI Studio 소속 연구원)와 연구진은 수동적 인식을 넘어선 AI를 구현하고자 3D 물리 기반 테스트베드인 'CHAIN(Causal Hierarchy of Actions and Interactions)'을 도입했다. 정적인 이미지 분석에 의존하던 기존 방식과 달리, CHAIN은 기하학적 구조와 지지 관계가 역동적인 환경 내에서 가능한 행동을 어떻게 결정하는지 모델이 직접 이해하도록 요구한다.

특히 이번 벤치마크는 AI가 물리적 제약을 준수하며 물체를 조작해야 하는 '구조화된 행동 시퀀스'에 초점을 맞춘다. 여기에는 서로 맞물린 기계 퍼즐을 풀거나 3D 물체를 정교하게 쌓는 것과 같은 복잡한 과업이 포함된다. 인식과 실행 사이의 루프를 연결하게 함으로써, CHAIN은 현대 AI가 물리 세계의 근본적인 인과 구조를 내면화하는 데 겪는 심각한 결함을 부각한다.

최첨단 모델들을 대상으로 테스트를 진행한 결과, 로보틱스 분야가 마주한 냉혹한 현실이 드러났다. 실제로 가장 진보된 시스템조차 신뢰할 수 있는 다단계 계획을 생성하는 데 빈번히 실패했으며, 특히 '보는 것'을 논리적인 물리적 상호작용의 연속으로 변환하는 과정에서 어려움을 겪었다. 이러한 결과는 AI가 가정이나 공장에서 진정한 임보디드 에이전트(Embodied agents)로 기능하기 위해, 단순 인식을 넘어선 공간 추론 능력을 확보해야 함을 시사한다.