LLM 코드 작성으로 영상 제작 자동화

대형언어모델(LLM)이 코드를 작성해 영상을 만드는 사례가 개발자 실험을 넘어 기업용 제품으로 이어지고 있습니다. 픽셀을 직접 생성하는 영상 생성 AI와 달리, LLM은 이용자의 설명에 맞춰 화면을 그리는 프로그램을 만들고 컴퓨터가 이를 실행하도록 합니다. 글자가 나타나거나 그래프가 커지고 자동차가 움직이는 장면은 코드로 구현할 수 있습니다.

웹 브라우저의 자바스크립트와 HTML 캔버스만으로도 간단한 2D 영상을 만들 수 있습니다. LLM은 글자와 도형을 배치하고 시간에 따라 위치, 크기, 색상이 변하도록 코드를 작성하며, 프로그램이 시간 순서대로 그린 화면을 이어 영상으로 만듭니다. 기존 도구 리모션(Remotion)은 개발자가 직접 코드를 써야 했지만, 이제 클로드 코드나 코덱스 같은 AI 코딩 에이전트가 코드를 작성하고 리모션이 실행하는 방식도 쓰입니다. 에이전트는 결과를 확인해 글자가 겹치거나 움직임이 어색한 부분을 고쳐 다시 실행할 수 있습니다. 영상에 기존 사진이나 음악을 넣을 수도 있어, 코드로 영상을 만들었다는 말이 이미지와 음악까지 코드로 제작했다는 뜻은 아닙니다.

지난 4월 클로드 코드와 리모션으로 자연어 지시에 따라 모션그래픽을 만드는 방법이 공유됐습니다. 9월 22일 ‘클로드 오퍼스 5.5’ 출시 뒤 광고 스타일 영상, 3D 장면, 교육용 설명 영상, 음악에 맞춘 그래픽이 잇달아 공개됐습니다. 사례 수집 사이트 24fps는 제작자가 클로드 오퍼스 5.5로 만들었다고 표기한 작품 4,077개를 확인했으며, 실제 제작 코드를 공개한 작품은 약 10%였습니다. 집계는 제작자가 밝힌 모델명에 근거합니다.

앤트로픽은 지난 10월 8일 기업용 베타 기능 ‘클로드 모션(Claude Motion)’을 공개했습니다. 보고서, 차트, 제품 설명 등을 입력하면 짧은 애니메이션을 만들고 MP4로 저장할 수 있으며, 글자와 숫자, 움직임의 시간도 수정할 수 있습니다. 앤트로픽은 전용 영상 생성 모델을 쓰지 않고 클로드가 텍스트, 도형, 차트, 이미지 등을 움직이는 코드를 작성한다고 밝혔습니다. 이 기능은 실사 영화나 복잡한 인물 영상 대신 보고서와 데이터를 그래픽으로 표현하는 데 초점을 둡니다.

코드 기반 영상은 수치나 문구를 바꾸면 그래프와 화면을 다시 조정할 수 있습니다. 예를 들어 매출 증가율을 15%에서 18%로 변경하거나 화면 전환 시간과 움직임 방향을 수정할 수 있습니다. 기존 영상 생성 AI는 장면을 고치려면 다시 생성해야 할 때가 많다고 기사에서는 설명합니다. 다만 복잡한 인물 동작이나 사실적인 자연 풍경에는 전용 영상 생성 AI가 유리합니다. 일부 화제의 애니메이션도 상세한 지시와 수시간의 코드 작성·실행·수정이 필요했습니다.

영상 제작에 필요한 프로그램을 LLM이 상당 부분 대신 작성하면서, 클로드 같은 모델은 영상 제작 과정의 자동화 도구로 쓰이고 있습니다. 기사에서는 뉴스, 광고, 데이터 시각화처럼 내용이 자주 바뀌는 분야에서 수치와 문구를 수정해 영상을 다시 만들면 제작 시간과 비용을 줄이는 데 도움이 될 것으로 봤습니다.

대형언어모델(LLM)이 코드를 작성해 영상을 만드는 사례가 개발자 실험을 넘어 기업용 제품으로 이어지고 있습니다. 픽셀을 직접 생성하는 영상 생성 AI와 달리, LLM은 이용자의 설명에 맞춰 화면을 그리는 프로그램을 만들고 컴퓨터가 이를 실행하도록 합니다. 글자가 나타나거나 그래프가 커지고 자동차가 움직이는 장면은 코드로 구현할 수 있습니다.

웹 브라우저의 자바스크립트와 HTML 캔버스만으로도 간단한 2D 영상을 만들 수 있습니다. LLM은 글자와 도형을 배치하고 시간에 따라 위치, 크기, 색상이 변하도록 코드를 작성하며, 프로그램이 시간 순서대로 그린 화면을 이어 영상으로 만듭니다. 기존 도구 리모션(Remotion)은 개발자가 직접 코드를 써야 했지만, 이제 클로드 코드나 코덱스 같은 AI 코딩 에이전트가 코드를 작성하고 리모션이 실행하는 방식도 쓰입니다. 에이전트는 결과를 확인해 글자가 겹치거나 움직임이 어색한 부분을 고쳐 다시 실행할 수 있습니다. 영상에 기존 사진이나 음악을 넣을 수도 있어, 코드로 영상을 만들었다는 말이 이미지와 음악까지 코드로 제작했다는 뜻은 아닙니다.

지난 4월 클로드 코드와 리모션으로 자연어 지시에 따라 모션그래픽을 만드는 방법이 공유됐습니다. 9월 22일 ‘클로드 오퍼스 5.5’ 출시 뒤 광고 스타일 영상, 3D 장면, 교육용 설명 영상, 음악에 맞춘 그래픽이 잇달아 공개됐습니다. 사례 수집 사이트 24fps는 제작자가 클로드 오퍼스 5.5로 만들었다고 표기한 작품 4,077개를 확인했으며, 실제 제작 코드를 공개한 작품은 약 10%였습니다. 집계는 제작자가 밝힌 모델명에 근거합니다.

앤트로픽은 지난 10월 8일 기업용 베타 기능 ‘클로드 모션(Claude Motion)’을 공개했습니다. 보고서, 차트, 제품 설명 등을 입력하면 짧은 애니메이션을 만들고 MP4로 저장할 수 있으며, 글자와 숫자, 움직임의 시간도 수정할 수 있습니다. 앤트로픽은 전용 영상 생성 모델을 쓰지 않고 클로드가 텍스트, 도형, 차트, 이미지 등을 움직이는 코드를 작성한다고 밝혔습니다. 이 기능은 실사 영화나 복잡한 인물 영상 대신 보고서와 데이터를 그래픽으로 표현하는 데 초점을 둡니다.

코드 기반 영상은 수치나 문구를 바꾸면 그래프와 화면을 다시 조정할 수 있습니다. 예를 들어 매출 증가율을 15%에서 18%로 변경하거나 화면 전환 시간과 움직임 방향을 수정할 수 있습니다. 기존 영상 생성 AI는 장면을 고치려면 다시 생성해야 할 때가 많다고 기사에서는 설명합니다. 다만 복잡한 인물 동작이나 사실적인 자연 풍경에는 전용 영상 생성 AI가 유리합니다. 일부 화제의 애니메이션도 상세한 지시와 수시간의 코드 작성·실행·수정이 필요했습니다.

영상 제작에 필요한 프로그램을 LLM이 상당 부분 대신 작성하면서, 클로드 같은 모델은 영상 제작 과정의 자동화 도구로 쓰이고 있습니다. 기사에서는 뉴스, 광고, 데이터 시각화처럼 내용이 자주 바뀌는 분야에서 수치와 문구를 수정해 영상을 다시 만들면 제작 시간과 비용을 줄이는 데 도움이 될 것으로 봤습니다.