TailSteer、画像編集の累積ずれを抑制

香港中文大学MMLabの研究者らは、画像を繰り返し編集する際に生じる見た目のずれを抑える最終段階の学習手法、TailSteerを発表しました。論文は11月4日に公開され、11月6日にHugging Faceへ提出されました。編集後の画像を次の編集の入力に使うと、小さな意図しない変化が積み重なり、大きな見た目の違いになる問題に対処します。

TailSteerは、初期のノイズ除去過程を基盤モデルに近い状態に保ち、編集の軌跡の終盤で変化を抑える補正を加えます。補正は、編集モデル自身が動作中に生成したノイズ除去の例から学習し、変更されていない元画像の内容を基準にします。正解付きの編集ペアを人手でそろえる必要はありません。

FLUX、SenseNova、Qwenの各モデル群で試験したところ、TailSteerは15～20回の編集を重ねた後の累積ずれを大幅に抑え、テキストから画像への生成と単一画像編集のベンチマークでは基盤モデルの性能をおおむね維持しました。著者らによると、TailSteerは教師あり微調整、強化学習、またはオンポリシー蒸留の後に加えられる最終学習段階です。モデルの構造や推論手順を変えず、先行する学習で得た画像生成・編集能力も保つとしています。

香港中文大学MMLabの研究者らは、画像を繰り返し編集する際に生じる見た目のずれを抑える最終段階の学習手法、TailSteerを発表しました。論文は11月4日に公開され、11月6日にHugging Faceへ提出されました。編集後の画像を次の編集の入力に使うと、小さな意図しない変化が積み重なり、大きな見た目の違いになる問題に対処します。

TailSteerは、初期のノイズ除去過程を基盤モデルに近い状態に保ち、編集の軌跡の終盤で変化を抑える補正を加えます。補正は、編集モデル自身が動作中に生成したノイズ除去の例から学習し、変更されていない元画像の内容を基準にします。正解付きの編集ペアを人手でそろえる必要はありません。

FLUX、SenseNova、Qwenの各モデル群で試験したところ、TailSteerは15～20回の編集を重ねた後の累積ずれを大幅に抑え、テキストから画像への生成と単一画像編集のベンチマークでは基盤モデルの性能をおおむね維持しました。著者らによると、TailSteerは教師あり微調整、強化学習、またはオンポリシー蒸留の後に加えられる最終学習段階です。モデルの構造や推論手順を変えず、先行する学習で得た画像生成・編集能力も保つとしています。