마이크로소프트 연구진이 이미지 주변부를 보존하면서 선택한 내용을 삭제하는 기반 모델 LensErase를 공개했습니다. 논문은 10월 13일 발표됐고, 10월 15일 Hugging Face에 제출됐습니다. 이 모델은 사물과 화면에 보이는 글자, 워터마크 및 그 시각적 효과를 지우도록 설계됐으며, 크기와 가로세로 비율, 해상도가 서로 다른 이미지에서 여러 사물을 제거하는 기능도 겨냥합니다.

연구진은 원본 이미지와 삭제 마스크, 결과 이미지가 짝을 이루는 사례 1억 107만 개로 LensErase-100M 데이터셋을 구축했습니다. 텍스트를 이미지로 바꾸는 모델 Lens를 사전 학습의 출발점으로 삼아, 마스크 기반 삭제에 맞게 생성 사전 정보를 조정했습니다. Mask-Aware RoPE는 마스크 토큰을 별도 배열로 추가하지 않고 3차원 회전 위치 인코딩을 이용해 원본 이미지 토큰에 마스크 정보를 직접 반영합니다.

연구진은 지도 미세 조정과 계약 조건을 따르면서 영역을 고려하는 보상 기반 강화학습으로 모델을 다듬었습니다. 추론 단계에서는 편집이 적용되는 영역 바깥의 세부 내용을 충실하게 보존하도록 TraceFusion을 적용합니다. 공개 벤치마크 6종과 연구진이 만든 LensErase-Bench에서 참조 이미지 기반 객관 지표와 참조 이미지가 필요 없는 VLM 평가 모두 크게 개선됐지만, 초록에는 구체적인 점수가 제시되지 않았습니다. 저자들은 LensErase가 이미지 삭제 관련 응용과 시스템을 지원하도록 설계됐다고 밝혔습니다.

마이크로소프트 연구진이 이미지 주변부를 보존하면서 선택한 내용을 삭제하는 기반 모델 LensErase를 공개했습니다. 논문은 10월 13일 발표됐고, 10월 15일 Hugging Face에 제출됐습니다. 이 모델은 사물과 화면에 보이는 글자, 워터마크 및 그 시각적 효과를 지우도록 설계됐으며, 크기와 가로세로 비율, 해상도가 서로 다른 이미지에서 여러 사물을 제거하는 기능도 겨냥합니다.

연구진은 원본 이미지와 삭제 마스크, 결과 이미지가 짝을 이루는 사례 1억 107만 개로 LensErase-100M 데이터셋을 구축했습니다. 텍스트를 이미지로 바꾸는 모델 Lens를 사전 학습의 출발점으로 삼아, 마스크 기반 삭제에 맞게 생성 사전 정보를 조정했습니다. Mask-Aware RoPE는 마스크 토큰을 별도 배열로 추가하지 않고 3차원 회전 위치 인코딩을 이용해 원본 이미지 토큰에 마스크 정보를 직접 반영합니다.

연구진은 지도 미세 조정과 계약 조건을 따르면서 영역을 고려하는 보상 기반 강화학습으로 모델을 다듬었습니다. 추론 단계에서는 편집이 적용되는 영역 바깥의 세부 내용을 충실하게 보존하도록 TraceFusion을 적용합니다. 공개 벤치마크 6종과 연구진이 만든 LensErase-Bench에서 참조 이미지 기반 객관 지표와 참조 이미지가 필요 없는 VLM 평가 모두 크게 개선됐지만, 초록에는 구체적인 점수가 제시되지 않았습니다. 저자들은 LensErase가 이미지 삭제 관련 응용과 시스템을 지원하도록 설계됐다고 밝혔습니다.