FilmFlow, 3D 장면 카메라 움직임 계획

연구진이 자연어 지시나 참조 영상을 역동적인 3D 장면에서 실행 가능한 카메라 경로로 바꾸는 에이전트형 프레임워크 FilmFlow를 공개했습니다. 이 시스템은 가상 장면에서 카메라 움직임을 제어하고 실행하도록 설계됐으며, 영화적 의도를 카메라 계획으로 변환합니다.

Director 에이전트는 동시에 수행되는 기본 동작을 결합해 카메라 계획을 세웁니다. 이 동작들은 카메라의 이동, 회전, 구도를 함께 제어합니다. Interpreter는 장면에 근거해 영화적 의도를 추출하고, Scout는 초기 시점을 선택하며, Critic은 렌더링 결과를 평가하고 시각적 피드백을 제공해 계획을 반복적으로 다듬습니다.

연구진은 자체 제작 및 라이선스 출처에서 가져온 Blender 장면 150개로 구성된 데이터셋 CinemaBench도 공개했습니다. 각 장면에는 카메라 지시문 5개가 있어 텍스트 기반 과제는 총 750개이며, 그중 일부 장면에는 참조 영상 60개가 연결됩니다. 벤치마크는 텍스트로 카메라 움직임을 생성하는 기능과 참조 영상의 안내에 따라 생성하는 기능을 모두 평가합니다.

연구진에 따르면 FilmFlow는 다양한 평가 기준선 가운데 벤치마크 성능이 가장 높았고 사용자 선호도도 가장 높았습니다. 연구진은 이 결과가 실행 가능한 3D 영화 촬영에서 공간 추론, 시간적 조정, 시각적 구도를 보여준다고 밝혔습니다. 벤치마크 비교의 구체적인 점수는 공개되지 않았습니다.

연구진이 자연어 지시나 참조 영상을 역동적인 3D 장면에서 실행 가능한 카메라 경로로 바꾸는 에이전트형 프레임워크 FilmFlow를 공개했습니다. 이 시스템은 가상 장면에서 카메라 움직임을 제어하고 실행하도록 설계됐으며, 영화적 의도를 카메라 계획으로 변환합니다.

Director 에이전트는 동시에 수행되는 기본 동작을 결합해 카메라 계획을 세웁니다. 이 동작들은 카메라의 이동, 회전, 구도를 함께 제어합니다. Interpreter는 장면에 근거해 영화적 의도를 추출하고, Scout는 초기 시점을 선택하며, Critic은 렌더링 결과를 평가하고 시각적 피드백을 제공해 계획을 반복적으로 다듬습니다.

연구진은 자체 제작 및 라이선스 출처에서 가져온 Blender 장면 150개로 구성된 데이터셋 CinemaBench도 공개했습니다. 각 장면에는 카메라 지시문 5개가 있어 텍스트 기반 과제는 총 750개이며, 그중 일부 장면에는 참조 영상 60개가 연결됩니다. 벤치마크는 텍스트로 카메라 움직임을 생성하는 기능과 참조 영상의 안내에 따라 생성하는 기능을 모두 평가합니다.

연구진에 따르면 FilmFlow는 다양한 평가 기준선 가운데 벤치마크 성능이 가장 높았고 사용자 선호도도 가장 높았습니다. 연구진은 이 결과가 실행 가능한 3D 영화 촬영에서 공간 추론, 시간적 조정, 시각적 구도를 보여준다고 밝혔습니다. 벤치마크 비교의 구체적인 점수는 공개되지 않았습니다.