SolarRenderer, 구조 입력 영상 생성 4단계로 단축

SolarRenderer는 고정된 MiniMax-H3 33B 영상 백본에 저차원 적응(LoRA) 모듈 2개를 적용해 구조 입력을 사실적 영상으로 바꿉니다. 10월 20일 공개된 arXiv 논문에 따르면, 50단계 샘플링 대신 4단계로 렌더링하며 속도는 12.3배 빠릅니다. 프레임에 맞춰 정렬된 학습 데이터를 사용해 입력 구조를 따르면서 외관 세부 요소를 채웁니다.

모델은 영상이 묘사하는 프레임 위치에서 백본의 참조 경로로 구조 영상을 전달합니다. 연구진은 제어용 LoRA 하나가 유형 식별자 없이 임의의 구조 표현을 따를 수 있다고 밝혔으며, 입력은 일반 텍스트로만 설명됩니다. 블록 인과 방식은 스트리밍을 지원하고 768p 영상을 실시간으로 렌더링합니다. 학습 데이터에는 게임 엔진, 시뮬레이터, 유튜브 영상에서 모은 클립 13만 6천 개가 포함됩니다.

연구진은 학습 분포 내 테스트 세트와 16가지 구조 표현을 다룬 일반화 벤치마크에서 모두 최고 성능을 기록했다고 보고했습니다. SolarRenderer는 포즈 골격, 그림, 점군 등 학습에 포함되지 않은 표현 11종에도 일반화됩니다. 프로젝트 페이지에 따르면 스트리밍 버전은 24fps로 0.70초마다 17프레임 묶음을 생성하며, 입력보다 약 1.1초 늦습니다. KV 캐시를 사용하면 입력이 이어지는 동안 생성을 계속할 수 있습니다. 별도 평가를 위해 남겨 둔 벤치마크에서 구조 부문 Elo 점수는 1313으로, 다른 9개 방식보다 높았습니다.

SolarRenderer는 고정된 MiniMax-H3 33B 영상 백본에 저차원 적응(LoRA) 모듈 2개를 적용해 구조 입력을 사실적 영상으로 바꿉니다. 10월 20일 공개된 arXiv 논문에 따르면, 50단계 샘플링 대신 4단계로 렌더링하며 속도는 12.3배 빠릅니다. 프레임에 맞춰 정렬된 학습 데이터를 사용해 입력 구조를 따르면서 외관 세부 요소를 채웁니다.

모델은 영상이 묘사하는 프레임 위치에서 백본의 참조 경로로 구조 영상을 전달합니다. 연구진은 제어용 LoRA 하나가 유형 식별자 없이 임의의 구조 표현을 따를 수 있다고 밝혔으며, 입력은 일반 텍스트로만 설명됩니다. 블록 인과 방식은 스트리밍을 지원하고 768p 영상을 실시간으로 렌더링합니다. 학습 데이터에는 게임 엔진, 시뮬레이터, 유튜브 영상에서 모은 클립 13만 6천 개가 포함됩니다.

연구진은 학습 분포 내 테스트 세트와 16가지 구조 표현을 다룬 일반화 벤치마크에서 모두 최고 성능을 기록했다고 보고했습니다. SolarRenderer는 포즈 골격, 그림, 점군 등 학습에 포함되지 않은 표현 11종에도 일반화됩니다. 프로젝트 페이지에 따르면 스트리밍 버전은 24fps로 0.70초마다 17프레임 묶음을 생성하며, 입력보다 약 1.1초 늦습니다. KV 캐시를 사용하면 입력이 이어지는 동안 생성을 계속할 수 있습니다. 별도 평가를 위해 남겨 둔 벤치마크에서 구조 부문 Elo 점수는 1313으로, 다른 9개 방식보다 높았습니다.