CrossTimeEdit, 과거 거리 풍경 생성
HuggingFace2026년 10월 14일 (수)
- •최근 거리 사진을 과거 위성 자료와 결합해 역사적 거리 풍경 생성
- •VIGOR-his 데이터셋, 3개 대륙 11개 도시의 위치별 자료 43,653세트 수록
- •사전학습 기준 모델보다 전체 성능 17.12% 향상…코드·데이터셋·가중치 공개
쑨원대학교 연구진이 과거 거리 풍경을 생성하는 시스템 CrossTimeEdit와 3개 대륙 11개 도시를 아우르는 데이터셋 VIGOR-his를 공개했습니다. 데이터셋에는 시점과 관점이 다른 거리 풍경을 짝지은 위치별 4종 자료 43,653세트가 담겼으며, 위성사진 기반 변화 설명과 특정 지역을 편집하는 지침도 포함됐습니다. 자동 처리 과정은 공간을 대응시키고 일관성을 확인한 뒤 변화를 분류하며, 설명과 편집 지침을 생성하고 검증합니다.
CrossTimeEdit는 과거 이미지를 새로 만드는 대신 최근 거리 사진을 편집합니다. 목표 시점의 위성사진을 변화의 근거로 삼아 달라진 구조물을 복원하면서 변하지 않은 장면의 세부 요소는 유지하도록 설계됐습니다. 연구진은 FLUX.2 [Klein] 4B를 기반으로 지도 미세조정을 진행한 뒤 온라인 강화학습을 적용해 시스템을 훈련했습니다.
훈련과 평가는 지시문 부합도, 배경 보존, 품질 및 물리적 타당성이라는 세 기준에 따라 이뤄졌습니다. 연구진은 Flow-GRPO와 각 보상 차원을 결합 전에 정규화하는 그룹 보상 분리 정규화 정책 최적화 기법으로 세 기준의 보상을 조정했습니다. CrossTimeEdit는 사전학습 기준 모델보다 전체 성능이 17.12% 향상됐고, 평가한 시점 간 이미지 생성 모델보다 장면 일관성, 시각적 현실감, 지각 품질에서 높은 성능을 보였습니다. 구현 코드와 데이터셋, 모델 가중치는 공개됐습니다.