Stream-T1, 실시간 영상 생성 품질 혁신
- •Stream-T1 프레임워크는 스트리밍 합성 단계에 Test-Time Scaling을 적용하여 영상 생성 효율을 최적화함
- •계산 리소스 소모를 줄이면서 영상의 시간적 일관성과 프레임 단위 시각 품질을 크게 개선함
- •5초 및 30초 길이의 영상 벤치마크 테스트에서 기존 확산 모델 대비 우수한 성능을 입증함
인공지능을 활용해 고품질의 일관된 영상을 생성하는 작업은 막대한 컴퓨팅 자원을 요구한다. 대표적인 영상 생성 기술인 Diffusion Models는 영상이 진행됨에 따라 피사체가 자연스럽게 이어지지 않고 깜빡이거나 형태가 왜곡되는 시간적 일관성 문제에 자주 직면한다. 이는 모델이 이전 프레임의 시각 정보를 제대로 유지하지 못해 발생하는 현상인데, 이를 해결하기 위해 최근 등장한 Stream-T1 프레임워크는 Test-Time Scaling 기법을 활용해 생성 효율과 영상의 논리적 흐름을 극대화한다.
Test-Time Scaling은 모델의 학습 단계가 아닌, 실제 결과물을 생성하는 추론 단계에서 더 많은 계산 자원을 할당해 사고의 시간을 부여하는 개념이다. 기존 방식은 처리 과정이 느리고 비용이 많이 든다는 한계가 있었으나, Stream-T1은 스트리밍 합성 방식을 도입하여 이를 극복했다. 대용량의 고해상도 파일을 한 번에 생성하는 대신, 인간의 시각 처리 방식처럼 작은 단위로 나누어 연속적으로 흐르게 함으로써 영상의 자연스러움을 높였다.
이 프레임워크의 핵심은 세 가지 기술적 단위에 있다. 첫째, 'Stream-Scaled Noise Propagation'은 이전 프레임의 시각적 맥락을 유지하여 프레임 간의 급격한 변화를 방지한다. 둘째, 'Stream-Scaled Reward Pruning'은 생성된 후보 프레임 중 시각적 미학과 서사적 일관성을 모두 충족하는 최적의 결과를 선택하는 내부 평가자 역할을 수행한다.
마지막으로 'Stream-Scaled Memory Sinking'은 모델의 메모리 자원인 KV-cache를 효율적으로 관리한다. 이를 통해 핵심적인 이전 프레임 데이터를 선별적으로 유지하여 시스템 부하를 줄이면서도 다음 프레임 생성에 필요한 정보를 안정적으로 제공한다. 이러한 설계는 제한된 연산 능력으로도 고성능을 이끌어내는 핵심 동력이 된다.
생성형 미디어 기술의 급격한 발전을 지켜보는 학생들에게 이번 연구는 매우 중요한 이정표가 된다. AI 영상 생성의 고질적인 난제였던 속도와 품질 사이의 상충 관계를 개선했기 때문이다. 특히 벤치마크 검증을 통해 모델의 크기만 키우는 것이 능사가 아니라, 생성 과정에서의 지능적인 확장 전략이 기술 발전의 핵심임을 보여주었다.