TailSteer, 다중 편집 이미지의 시각적 변형 감소

MMLab-CUHK 연구진은 이미지를 반복 편집할 때 생기는 시각적 변형을 줄이는 최종 단계 학습 프레임워크 TailSteer를 공개했습니다. 논문은 11월 4일 발표됐고 11월 6일 Hugging Face에 제출됐습니다. 편집된 이미지를 다음 편집의 입력으로 재사용하면 의도하지 않은 작은 변화가 쌓여 큰 시각적 차이가 생기는 문제를 해결하는 방식입니다.

TailSteer는 초기 노이즈 제거 과정을 기반 모델에 가깝게 유지하고, 편집 과정의 마지막 단계에 보존 보정을 적용합니다. 모델이 작동 중 생성한 자체 노이즈 제거 결과를 활용해 보정 방법을 학습하며, 변하지 않은 원본 내용을 기준으로 삼습니다. 사람이 정답으로 선별한 편집 이미지 쌍은 필요하지 않습니다.

FLUX, SenseNova, Qwen 계열 모델을 시험한 결과, TailSteer는 15~20회 편집 과정의 누적 변형을 크게 줄이면서 텍스트 이미지 생성과 단일 이미지 편집 벤치마크에서 기반 모델의 성능을 대부분 유지했습니다. 연구진은 지도 미세 조정, 강화학습 또는 온폴리시 증류 뒤에 적용할 수 있는 최종 학습 단계라고 설명했습니다. 모델 구조나 추론 절차를 바꾸지 않으며, 앞선 학습에서 얻은 생성 및 편집 능력도 보존한다고 보고했습니다.

MMLab-CUHK 연구진은 이미지를 반복 편집할 때 생기는 시각적 변형을 줄이는 최종 단계 학습 프레임워크 TailSteer를 공개했습니다. 논문은 11월 4일 발표됐고 11월 6일 Hugging Face에 제출됐습니다. 편집된 이미지를 다음 편집의 입력으로 재사용하면 의도하지 않은 작은 변화가 쌓여 큰 시각적 차이가 생기는 문제를 해결하는 방식입니다.

TailSteer는 초기 노이즈 제거 과정을 기반 모델에 가깝게 유지하고, 편집 과정의 마지막 단계에 보존 보정을 적용합니다. 모델이 작동 중 생성한 자체 노이즈 제거 결과를 활용해 보정 방법을 학습하며, 변하지 않은 원본 내용을 기준으로 삼습니다. 사람이 정답으로 선별한 편집 이미지 쌍은 필요하지 않습니다.

FLUX, SenseNova, Qwen 계열 모델을 시험한 결과, TailSteer는 15~20회 편집 과정의 누적 변형을 크게 줄이면서 텍스트 이미지 생성과 단일 이미지 편집 벤치마크에서 기반 모델의 성능을 대부분 유지했습니다. 연구진은 지도 미세 조정, 강화학습 또는 온폴리시 증류 뒤에 적용할 수 있는 최종 학습 단계라고 설명했습니다. 모델 구조나 추론 절차를 바꾸지 않으며, 앞선 학습에서 얻은 생성 및 편집 능력도 보존한다고 보고했습니다.