NVIDIA 연구진은 5월 13일 영상 생성 모델의 성능을 고도화할 수 있는 새로운 증류 프레임워크인 AnyFlow를 공개했다. 기존의 일관성 증류 기술은 테스트 단계에서 샘플링 횟수가 늘어날 때 확률 흐름 ODE 궤적을 단순 대체하는 과정에서 성능 저하 문제가 발생했다. 반면 AnyFlow는 증류 목표를 단순 지점 매핑에서 흐름 맵 전이 학습으로 전환해 모델이 전체 ODE 샘플링 궤적을 최적화할 수 있도록 지원한다.

이 프레임워크는 흐름 맵 역방향 시뮬레이션을 활용하여 전체 오일러 롤아웃을 짧은 흐름 맵 전이 단위로 분해한다. 이를 통해 온-폴리시 증류를 효율적으로 수행하며, 소량의 단계만 사용하는 샘플링에서의 이산화 오차와 인과적 생성 과정의 노출 편향 문제를 효과적으로 해결했다. 1.3B에서 14B 규모 모델에서 검증된 결과, AnyFlow는 적은 샘플링 단계에서도 기존 방식과 대등하거나 더 나은 성능을 보였으며 샘플링 단계가 증가해도 우수한 품질을 유지했다. 연구진은 현재 관련 코드와 사전 학습된 모델, 데모 페이지를 오픈소스로 제공하고 있다.

NVIDIA 연구진은 5월 13일 영상 생성 모델의 성능을 고도화할 수 있는 새로운 증류 프레임워크인 AnyFlow를 공개했다. 기존의 일관성 증류 기술은 테스트 단계에서 샘플링 횟수가 늘어날 때 확률 흐름 ODE 궤적을 단순 대체하는 과정에서 성능 저하 문제가 발생했다. 반면 AnyFlow는 증류 목표를 단순 지점 매핑에서 흐름 맵 전이 학습으로 전환해 모델이 전체 ODE 샘플링 궤적을 최적화할 수 있도록 지원한다.

이 프레임워크는 흐름 맵 역방향 시뮬레이션을 활용하여 전체 오일러 롤아웃을 짧은 흐름 맵 전이 단위로 분해한다. 이를 통해 온-폴리시 증류를 효율적으로 수행하며, 소량의 단계만 사용하는 샘플링에서의 이산화 오차와 인과적 생성 과정의 노출 편향 문제를 효과적으로 해결했다. 1.3B에서 14B 규모 모델에서 검증된 결과, AnyFlow는 적은 샘플링 단계에서도 기존 방식과 대등하거나 더 나은 성능을 보였으며 샘플링 단계가 증가해도 우수한 품질을 유지했다. 연구진은 현재 관련 코드와 사전 학습된 모델, 데모 페이지를 오픈소스로 제공하고 있다.