스마트폰 영상으로 4D 가상 세계 구축하는 '네오버스'
- •특수 장비 없이 일반적인 단안 영상만으로 몰입형 4D 공간을 정밀하게 재구성한다.
- •데이터 처리 과정을 간소화해 제작자의 기술 장벽을 낮추고 가상 환경 제작 시간을 대폭 단축한다.
- •방대한 인터넷 데이터를 학습에 활용하여 저해상도 영상에서도 세계 최고 수준의 성능을 구현한다.
AI 기술이 고도화됨에 따라 현실 세계를 디지털 공간에 그대로 복제하는 '월드 모델'은 미래 산업의 핵심 동력으로 주목받고 있다. 특히 시간의 흐름에 따른 사물의 움직임과 형태 변화를 기록하는 4D 재구성 기술은 메타버스와 로봇 공학 분야의 필수 요소로 꼽힌다. 기존에는 이러한 고품질 4D 공간을 구현하기 위해 전문가용 다중 카메라 시스템을 구축하거나 방대한 양의 수동 전처리 과정을 거쳐야만 했다. 이러한 기술적·비용적 제약은 일반 창작자들이 고사양 가상 환경을 제작하는 데 큰 걸림돌로 작용해 왔다.
이러한 상황에서 네오버스(NeoVerse)는 별도의 특수 장비 없이 스마트폰으로 촬영한 일반적인 단안 영상만으로 정교한 4D 환경을 구축하며 업계의 이목을 집중시키고 있다. 이 모델은 카메라의 이동 경로 정보가 없는 영상에서도 스스로 3차원 구조를 식별하고 복원하는 혁신적인 알고리즘을 탑재했다. 이에 따라 제작자는 복잡한 데이터 처리 과정 없이도 즉각적으로 결과물을 도출할 수 있으며 기술적 진입 장벽 또한 획기적으로 낮아졌다. 또한 하드웨어에 대한 의존성을 완전히 제거함으로써 언제 어디서나 고수준의 공간 캡처가 가능한 환경을 조성했다.
특히 네오버스는 인터넷상의 방대한 영상 데이터를 학습에 활용하여 모델의 확장성을 극대화했다는 점에서 차별화된다. 연구진은 단안 영상이 지닌 저해상도 문제나 데이터 공백과 같은 불완전한 요소를 시뮬레이션하고 이를 보완하는 정교한 기술을 적용했다. 그 결과 다양한 촬영 환경과 영상 유형에서도 안정적인 성능을 발휘하며 기존의 한계를 뛰어넘는 세계 최고 수준의 벤치마크 점수를 기록했다. 실제로 이 기술을 활용하면 단 한 번의 촬영만으로도 사용자가 원하는 새로운 시점의 가상 공간을 자유롭게 생성할 수 있다.
한편 이번 기술 개발은 누구나 고품질의 가상 세계를 창조할 수 있는 '제작의 대중화' 시대를 앞당길 것으로 평가받는다. 사용자는 촬영이 끝난 후에도 가상의 카메라 경로를 자유롭게 조작하여 이전에 없던 창의적인 관점의 영상을 제작할 수 있다. 고가의 장비 투자 없이도 전문가 수준의 4D 콘텐츠 제작이 가능해짐에 따라 게임 개발 및 가상 현실 산업의 생산 주기는 더욱 단축될 전망이다. 또한 이러한 혁신은 창작자들에게 새로운 표현의 지평을 열어주며 디지털 생태계의 비약적인 발전을 견인할 것으로 기대된다.