비디오 AI 모델의 물리 추론 메커니즘 규명
Meta AI Research
2026년 7월 5일 (일)
- •비디오 인코더에서 물리적 변수가 선형적으로 추출되는 '물리 출현 영역(Physics Emergence Zone)'이 확인됐다.
- •모델 내 비디오 모델의 움직임 표현 방식이 영장류 시각 피질의 정보 처리 계층과 유사한 구조를 보였다.
- •물리 예측은 소형 엔진 기반의 변수가 아닌 고차원적이고 분산된 인구 부호(population code)를 통해 이루어진다.
소니아 조셉(Sonia Joseph), 퀜틴 가리도(Quentin Garrido) 연구진은 2026년 7월 3일 '비디오 세계 모델에서의 물리 해석'이라는 연구를 발표했다. 연구진은 대규모 비디오 인코더가 물리적 변수를 표현하는 방식을 분석하기 위해 층별 프로빙, 부분 공간 기하학, 패치 수준 디코딩 등 다양한 방법론을 활용했다.
연구 결과, 모델 구조의 중간 깊이 층에서 물리적 변수가 선형적으로 식별 가능한 '물리 출현 영역(Physics Emergence Zone)'이 구조적 전환점으로 나타났다. 속도와 가속도 같은 스칼라 속성은 초기 층에서 관찰되는 반면, 움직임 방향은 해당 물리 출현 영역에 도달해서야 비로소 명확하게 접근 가능했다. 이는 영장류 시각 피질의 V1 영역에서 MT 영역으로 이어지는 움직임 처리 계층 구조와 일치하는 특성이다.
이번 연구에 따르면 움직임 방향은 원형의 고차원 인구 부호(population code) 방식으로 인코딩된다. 언어 모델의 저차원 제어와 달리, 비디오 모델에서 움직임 방향을 수정하려면 수십 개의 직교 프로브 차원을 동시에 조절해야 한다. 이는 모델 내부에 물리 엔진 같은 압축된 상태 변수가 존재하는 것이 아니라, 물리 예측 작업에 최적화된 계층적 분산 표현이 작동함을 시사한다. 해당 연구는 ICML(국제머신러닝학회)에서 공개되었다.