DiffusionART, 확산 모델 학습 효율 높이는 강화학습법 제안
- •DiffusionART, 확산 모델 미세 조정을 위한 안정적·효율적 강화학습법 제안
- •HunyuanVideo-13B에서 DiffusionNFT 대비 GPU 시간 12.0배, Flow-GRPO-Fast 대비 11.7배 절감
- •학습 보상 평균 28.8%, 53.0% 높이고 미분 가능한 보상 모델은 불필요
허깅페이스에 10월 8일 공개되고 10월 12일 제출된 연구 논문 ‘DiffusionART’는 강화학습으로 확산 모델을 미세 조정하는 방법을 제안했습니다. 정쩌린 완(Zhenglin Wan)이 이끈 저자진에는 KlingAI Research 연구진이 참여했습니다. 연구진은 기존 방식에 상충하는 한계가 있다고 설명합니다. 역방향 과정 방식인 Flow-GRPO는 학습 기여도 배분이 부정확해 효율이 제한되고, 순방향 과정 방식인 DiffusionNFT는 오프폴리시 샘플을 이용한 지수이동평균(EMA) 학습을 세심하게 조정하지 않으면 불안정하다는 것입니다.
논문은 NFT 방식의 목적 함수에 숨은 순방향·역방향 일관성 힘이 있으며, 긍정 학습과 부정 학습을 결합해도 이 힘이 일부만 상쇄된다고 설명합니다. EMA는 오프폴리시 롤아웃이 아니라 복원 과정을 통해 학습을 안정화합니다. 이를 해결하기 위해 연구진은 DiffusionART, 즉 ‘집계 우선 보상 기울이기를 이용한 확산 강화학습’을 제안했습니다. 프롬프트별 보상을 모아 역방향 과정 상태를 개선하는 공통 방향을 만들고, 설계 단계에서 일관성 힘을 제거합니다. 또 신뢰 영역 마스크를 적용한 두 번째 업데이트를 추가해 EMA 조정 없이 변화에 맞춰 복원합니다.
논문에 따르면 DiffusionART는 미분 가능한 보상 모델 없이 작동하고, 프롬프트당 샘플 수가 적어도 효과를 유지하며, 쌍별 보상 모델인 DiffusionART-Pairwise도 지원합니다. 이미지와 영상 생성 작업에서 과제별 조정 없이 효율적이고 안정적으로 학습한다고 저자들은 밝혔습니다. 시각 품질과 동작 품질 보상에 같은 가중치를 준 HunyuanVideo-13B 실험에서 DiffusionART는 DiffusionNFT와 Flow-GRPO-Fast의 후반 학습 단계 평균 보상 수준에 각각 GPU 시간 12.0배, 11.7배 적게 들여 도달했습니다. 동시에 평균 학습 보상은 두 비교 방식보다 각각 28.8%, 53.0% 높았다고 보고했습니다. 논문은 허깅페이스 ‘오늘의 논문’ 순위에서 1위를 기록했습니다.