영상 콘텐츠 시장이 전례 없는 속도로 팽창하면서 실제와 구별하기 어려운 수준의 자연스러운 얼굴 교체 기술에 대한 수요가 급증하고 있다. 기존의 페이스 스왑 방식은 정지된 이미지를 동적 영상에 투영할 때 미세한 표정 변화를 놓치거나 배경과 어색한 시각적 잔상이 발생하는 등 기술적 한계를 노출해 왔다. 이에 따라 글로벌 숏폼 플랫폼 틱톡의 모기업인 바이트댄스(ByteDance) 연구진은 디퓨전 트랜스포머(DiT) 아키텍처를 기반으로 한 차세대 모델 'DreamID-V'를 전격 공개하며 업계의 이목을 집중시키고 있다. DiT는 뛰어난 이미지 생성력을 지닌 디퓨전 모델과 방대한 데이터를 효율적으로 처리하는 트랜스포머 구조의 장점을 결합한 하이브리드 설계가 특징이다.

DreamID-V가 구현한 기술적 혁신의 핵심은 정적인 참조 이미지와 역동적인 비디오 사이의 데이터 간극을 효과적으로 가로지른다는 점에 있다. 연구진은 영상이 진행되는 내내 인물의 고유한 정체성이 흔들리지 않도록 보장하는 독자적인 데이터 파이프라인 'SyncID-Pipe'를 구축했다. 특히 쉬운 단계부터 고난도 데이터 순으로 학습을 진행하는 '커리큘럼 학습(Curriculum Learning)' 방법론을 적용하여 기술의 완성도를 높였다. 초기 단계에서는 정제된 합성 이미지로 기본기를 다지고, 이후 복잡한 실제 환경의 영상 데이터를 학습함으로써 미세한 얼굴 근육의 경련이나 복잡한 빛의 굴절까지 정밀하게 모사할 수 있게 되었다.

또한 연구진은 영상의 마지막 프레임까지 인물의 정체성이 흐릿해지지 않도록 유지하는 강화 학습 전략을 도입했다. 실제로 이러한 기법은 고강도의 움직임이 포함된 장면이나 주변 환경이 어지러운 상황에서도 얼굴 정보가 손실되는 현상을 획기적으로 방지하여 고해상도의 출력물을 보장한다. 이번 기술은 영화 산업의 시각 효과(VFX)나 고품질 가상 캐릭터 생성 등 창의성이 요구되는 전문적인 제작 현장에서 혁신적인 변화를 이끌어낼 것으로 전망된다. 더불어 연구팀은 업계 내 객관적인 성능 평가 표준을 정립하고 관련 생태계의 동반 성장을 도모하기 위해 새로운 벤치마크 데이터셋인 'IDBench-V'를 외부에 공개하며 기술적 리더십을 공고히 했다.

영상 콘텐츠 시장이 전례 없는 속도로 팽창하면서 실제와 구별하기 어려운 수준의 자연스러운 얼굴 교체 기술에 대한 수요가 급증하고 있다. 기존의 페이스 스왑 방식은 정지된 이미지를 동적 영상에 투영할 때 미세한 표정 변화를 놓치거나 배경과 어색한 시각적 잔상이 발생하는 등 기술적 한계를 노출해 왔다. 이에 따라 글로벌 숏폼 플랫폼 틱톡의 모기업인 바이트댄스(ByteDance) 연구진은 디퓨전 트랜스포머(DiT) 아키텍처를 기반으로 한 차세대 모델 'DreamID-V'를 전격 공개하며 업계의 이목을 집중시키고 있다. DiT는 뛰어난 이미지 생성력을 지닌 디퓨전 모델과 방대한 데이터를 효율적으로 처리하는 트랜스포머 구조의 장점을 결합한 하이브리드 설계가 특징이다.

DreamID-V가 구현한 기술적 혁신의 핵심은 정적인 참조 이미지와 역동적인 비디오 사이의 데이터 간극을 효과적으로 가로지른다는 점에 있다. 연구진은 영상이 진행되는 내내 인물의 고유한 정체성이 흔들리지 않도록 보장하는 독자적인 데이터 파이프라인 'SyncID-Pipe'를 구축했다. 특히 쉬운 단계부터 고난도 데이터 순으로 학습을 진행하는 '커리큘럼 학습(Curriculum Learning)' 방법론을 적용하여 기술의 완성도를 높였다. 초기 단계에서는 정제된 합성 이미지로 기본기를 다지고, 이후 복잡한 실제 환경의 영상 데이터를 학습함으로써 미세한 얼굴 근육의 경련이나 복잡한 빛의 굴절까지 정밀하게 모사할 수 있게 되었다.

또한 연구진은 영상의 마지막 프레임까지 인물의 정체성이 흐릿해지지 않도록 유지하는 강화 학습 전략을 도입했다. 실제로 이러한 기법은 고강도의 움직임이 포함된 장면이나 주변 환경이 어지러운 상황에서도 얼굴 정보가 손실되는 현상을 획기적으로 방지하여 고해상도의 출력물을 보장한다. 이번 기술은 영화 산업의 시각 효과(VFX)나 고품질 가상 캐릭터 생성 등 창의성이 요구되는 전문적인 제작 현장에서 혁신적인 변화를 이끌어낼 것으로 전망된다. 더불어 연구팀은 업계 내 객관적인 성능 평가 표준을 정립하고 관련 생태계의 동반 성장을 도모하기 위해 새로운 벤치마크 데이터셋인 'IDBench-V'를 외부에 공개하며 기술적 리더십을 공고히 했다.