WorldCast, 큰 각도 캐릭터 영상 생성 제어

연구진이 큰 각도로 카메라가 움직이는 상황에서 캐릭터 영상을 생성하기 위해 CLACT와 WorldCast를 공개했습니다. 논문은 10월 23일 발표됐고 10월 27일 Hugging Face에 제출됐습니다. 임의의 시작 각도에서 회전·이동하고 거리가 바뀌는 카메라 경로를 다룹니다. 저자들은 기존 방법이 이런 움직임을 처리하기 어려워 첫 화면에서 보이지 않던 캐릭터 부분이 드러날 때 형태가 일그러지고 외관이 나빠지거나 정체성이 달라질 수 있다고 설명했습니다.

CLACT는 캐릭터에 초점을 둔 데이터셋이자 벤치마크로, 다양한 큰 각도의 카메라 이동 경로를 담았습니다. 학습과 평가를 위해 카메라 기하 정보와 여러 시점에서 관측한 캐릭터 정보도 포함합니다. 제안된 영상 생성 프레임워크인 WorldCast는 첫 화면에서 깊이 정보를 추정해 이를 3차원 점군으로 바꾸고, 목표 카메라 경로에 맞춰 크기를 조정한 뒤 경로를 따라 렌더링합니다. 이 과정에서 형태 정보를 안내하고 화면에 담길 영역을 나타내는 마스크를 제공합니다.

첫 시점에 보이지 않아 누락되는 캐릭터 세부 정보를 보완하기 위해 WorldCast는 기하 정렬 메모리 어텐션(GAMA)을 추가했습니다. 이 방법은 첫 화면에서 추정한 상대 카메라 위치와 여러 시점의 캐릭터 기준점을 사용해 기준점과 목표 시점의 형태 정보를 공통 좌표계에 배치합니다. GAMA는 영상 생성 중 각 시점에 필요한 캐릭터 특징을 찾아 삽입합니다. 저자들은 다양한 큰 각도 카메라 경로를 평가한 결과, 시스템이 경로를 정확히 따르면서 캐릭터의 형태와 외관, 정체성을 보존했다고 보고했습니다.

연구진이 큰 각도로 카메라가 움직이는 상황에서 캐릭터 영상을 생성하기 위해 CLACT와 WorldCast를 공개했습니다. 논문은 10월 23일 발표됐고 10월 27일 Hugging Face에 제출됐습니다. 임의의 시작 각도에서 회전·이동하고 거리가 바뀌는 카메라 경로를 다룹니다. 저자들은 기존 방법이 이런 움직임을 처리하기 어려워 첫 화면에서 보이지 않던 캐릭터 부분이 드러날 때 형태가 일그러지고 외관이 나빠지거나 정체성이 달라질 수 있다고 설명했습니다.

CLACT는 캐릭터에 초점을 둔 데이터셋이자 벤치마크로, 다양한 큰 각도의 카메라 이동 경로를 담았습니다. 학습과 평가를 위해 카메라 기하 정보와 여러 시점에서 관측한 캐릭터 정보도 포함합니다. 제안된 영상 생성 프레임워크인 WorldCast는 첫 화면에서 깊이 정보를 추정해 이를 3차원 점군으로 바꾸고, 목표 카메라 경로에 맞춰 크기를 조정한 뒤 경로를 따라 렌더링합니다. 이 과정에서 형태 정보를 안내하고 화면에 담길 영역을 나타내는 마스크를 제공합니다.

첫 시점에 보이지 않아 누락되는 캐릭터 세부 정보를 보완하기 위해 WorldCast는 기하 정렬 메모리 어텐션(GAMA)을 추가했습니다. 이 방법은 첫 화면에서 추정한 상대 카메라 위치와 여러 시점의 캐릭터 기준점을 사용해 기준점과 목표 시점의 형태 정보를 공통 좌표계에 배치합니다. GAMA는 영상 생성 중 각 시점에 필요한 캐릭터 특징을 찾아 삽입합니다. 저자들은 다양한 큰 각도 카메라 경로를 평가한 결과, 시스템이 경로를 정확히 따르면서 캐릭터의 형태와 외관, 정체성을 보존했다고 보고했습니다.