EmoReward, 영상 생성 보상 신호 조정

Tencent Hunyuan 연구진은 감정 프롬프트를 영상으로 더 잘 표현하도록 돕는 자기 진화형 학습법 EmoReward를 11월 4일 공개했습니다. 11월 5일 제출된 논문은 감정 영상의 품질을 점수화하기 어렵다고 설명합니다. 품질 판단은 주관적 미감에 좌우되고 정답이 하나로 정해져 있지 않기 때문입니다. 연구진은 기존 방식이 시각적 품질, 움직임 품질, 텍스트 정합성에 고정된 보상 신호를 쓰면서 감정 의도를 놓치고 보상 해킹을 유도할 수 있다고 지적했습니다. 또 인간 피드백 기반 강화학습은 확장하기 어렵고, 개인별 미감 차이 때문에 서사 맥락에 따른 표정·몸짓·색채 단서를 판단하기도 까다롭다고 설명했습니다.

EmoReward는 한 차례 학습에서 수집한 보상 기록을 바탕으로 어떤 감정 단서가 신뢰할 만한지 추정한 뒤, 다음 학습에서 여러 보상의 가중치를 조정합니다. 먼저 감정 프롬프트에 맞는 구체적인 시각 단서를 계획하고, 서로 다른 신호 유형으로 생성된 영상을 평가합니다. 반사적 보상 게이팅은 단계, 얼굴 신뢰도, 신호 충돌, 미묘함을 고려한 개별 게이트로 각 신호의 기여도를 조절한 다음, 활성 신호들 사이에서 가중치를 다시 맞춰 샘플별 종합 보상을 계산합니다.

RewardMemory는 완료된 학습 실행에서 감정 유형별로 반복 생성 점수와 결과를 살펴 각 신호 유형의 신뢰도를 추정합니다. 이어 다음 실행의 보상 가중치를 보정하는 제한된 배수를 설정하며, 보상 모델 자체는 업데이트하지 않습니다. 논문에 따르면 HunyuanVideo 1.5 실험에서는 여러 강화학습 알고리즘에서 개선이 나타났고, SAGE-GRPO를 적용해 EmoReward와 다른 에이전트형 보상 방식을 비교했습니다. SD 3.5와 FLUX를 활용한 제거 실험 및 전이 실험도 시각 생성에서 적응형 보정이 유효하다는 근거를 보탰습니다.

Tencent Hunyuan 연구진은 감정 프롬프트를 영상으로 더 잘 표현하도록 돕는 자기 진화형 학습법 EmoReward를 11월 4일 공개했습니다. 11월 5일 제출된 논문은 감정 영상의 품질을 점수화하기 어렵다고 설명합니다. 품질 판단은 주관적 미감에 좌우되고 정답이 하나로 정해져 있지 않기 때문입니다. 연구진은 기존 방식이 시각적 품질, 움직임 품질, 텍스트 정합성에 고정된 보상 신호를 쓰면서 감정 의도를 놓치고 보상 해킹을 유도할 수 있다고 지적했습니다. 또 인간 피드백 기반 강화학습은 확장하기 어렵고, 개인별 미감 차이 때문에 서사 맥락에 따른 표정·몸짓·색채 단서를 판단하기도 까다롭다고 설명했습니다.

EmoReward는 한 차례 학습에서 수집한 보상 기록을 바탕으로 어떤 감정 단서가 신뢰할 만한지 추정한 뒤, 다음 학습에서 여러 보상의 가중치를 조정합니다. 먼저 감정 프롬프트에 맞는 구체적인 시각 단서를 계획하고, 서로 다른 신호 유형으로 생성된 영상을 평가합니다. 반사적 보상 게이팅은 단계, 얼굴 신뢰도, 신호 충돌, 미묘함을 고려한 개별 게이트로 각 신호의 기여도를 조절한 다음, 활성 신호들 사이에서 가중치를 다시 맞춰 샘플별 종합 보상을 계산합니다.

RewardMemory는 완료된 학습 실행에서 감정 유형별로 반복 생성 점수와 결과를 살펴 각 신호 유형의 신뢰도를 추정합니다. 이어 다음 실행의 보상 가중치를 보정하는 제한된 배수를 설정하며, 보상 모델 자체는 업데이트하지 않습니다. 논문에 따르면 HunyuanVideo 1.5 실험에서는 여러 강화학습 알고리즘에서 개선이 나타났고, SAGE-GRPO를 적용해 EmoReward와 다른 에이전트형 보상 방식을 비교했습니다. SD 3.5와 FLUX를 활용한 제거 실험 및 전이 실험도 시각 생성에서 적응형 보정이 유효하다는 근거를 보탰습니다.