Tencent Hunyuan, FewStepRL 공개

Tencent Hunyuan 연구진은 11월 6일 논문에서 소수 단계 확산 모델에 강화학습 목표를 적용하는 방법인 FewStepRL을 발표했습니다. 기존 목표는 학습 반복마다 현재 모델을 실행하는 경우가 많고, 여러 단계를 사용하는 샘플러에서는 이 실행 과정이 비용의 큰 부분을 차지할 수 있습니다. 소수 단계 모델은 비용을 줄이지만, 순간 속도 대신 구간 평균 속도를 예측합니다. 기존 목표는 여러 단계 샘플링에서 순간 속도를 전제로 설계됐습니다.

연구진은 세 단계로 목표를 조정했습니다. 첫째, x 공간 변환을 통해 목표를 공통 정책 예측으로 표현합니다. 보통 깨끗한 출력에서 예측하며, 전이 또는 흐름 사상 목표에서는 지정된 수준의 예측도 사용합니다. 이를 통해 밀도, 속도, 보상에 기반한 목표를 비교할 수 있습니다. 둘째, 기울기 분해로 각 목표의 기울기를 기준값을 향한 자기 회귀와 보상 보강으로 나눠, 기준점과 가중치를 핵심 선택지로 둡니다. 셋째, 기준점 조정 단계에서는 수송의 끝점이나 접선을 따라 기준점을 계산합니다. 모델 또는 보조 네트워크가 순간 속도를 제공합니다.

이 접근법은 하나의 모듈형 코드베이스에서 FlowGRPO, AWM, DiffusionNFT, DiffusionOPSD, ReFL의 소수 단계 버전을 구현합니다. 실험에서는 보상이 미분 가능하고 그 기울기를 계산하는 비용이 감당할 만할 때 보상 기울기 방식의 성능이 가장 좋았습니다. 그 밖의 경우 DiffusionNFT 계열 방식은 대체로 비교적 적은 반복으로 높은 보상에 도달했지만, 반복 한 번의 비용은 더 클 수 있었습니다. 추론 단계를 늘려도 전체적으로 일관된 이점은 없었으나, 학습 때보다 샘플링 단계를 2~4배 사용하면 일부 출력이 눈에 띄게 개선됐습니다.

Tencent Hunyuan 연구진은 11월 6일 논문에서 소수 단계 확산 모델에 강화학습 목표를 적용하는 방법인 FewStepRL을 발표했습니다. 기존 목표는 학습 반복마다 현재 모델을 실행하는 경우가 많고, 여러 단계를 사용하는 샘플러에서는 이 실행 과정이 비용의 큰 부분을 차지할 수 있습니다. 소수 단계 모델은 비용을 줄이지만, 순간 속도 대신 구간 평균 속도를 예측합니다. 기존 목표는 여러 단계 샘플링에서 순간 속도를 전제로 설계됐습니다.

연구진은 세 단계로 목표를 조정했습니다. 첫째, x 공간 변환을 통해 목표를 공통 정책 예측으로 표현합니다. 보통 깨끗한 출력에서 예측하며, 전이 또는 흐름 사상 목표에서는 지정된 수준의 예측도 사용합니다. 이를 통해 밀도, 속도, 보상에 기반한 목표를 비교할 수 있습니다. 둘째, 기울기 분해로 각 목표의 기울기를 기준값을 향한 자기 회귀와 보상 보강으로 나눠, 기준점과 가중치를 핵심 선택지로 둡니다. 셋째, 기준점 조정 단계에서는 수송의 끝점이나 접선을 따라 기준점을 계산합니다. 모델 또는 보조 네트워크가 순간 속도를 제공합니다.

이 접근법은 하나의 모듈형 코드베이스에서 FlowGRPO, AWM, DiffusionNFT, DiffusionOPSD, ReFL의 소수 단계 버전을 구현합니다. 실험에서는 보상이 미분 가능하고 그 기울기를 계산하는 비용이 감당할 만할 때 보상 기울기 방식의 성능이 가장 좋았습니다. 그 밖의 경우 DiffusionNFT 계열 방식은 대체로 비교적 적은 반복으로 높은 보상에 도달했지만, 반복 한 번의 비용은 더 클 수 있었습니다. 추론 단계를 늘려도 전체적으로 일관된 이점은 없었으나, 학습 때보다 샘플링 단계를 2~4배 사용하면 일부 출력이 눈에 띄게 개선됐습니다.