연구진, 이미지 생성 모델 WeLM-Image 공개

연구진이 시각적 이해와 이미지 생성을 결합한 이미지 기반 모델 WeLM-Image를 공개했습니다. 이 모델은 텍스트로 이미지 만들기, 지시문에 따른 이미지 편집, 여러 참조 이미지의 합성을 지원합니다. WeChat의 대규모 소비자 애플리케이션에서 단일 GPU로 배포하도록 설계됐습니다.

WeLM-Image는 텍스트, 참조 이미지, 생성 대상 잠재 표현을 하나의 교차 배열 시퀀스로 처리합니다. 트랜스포머 혼합 구조는 어텐션을 공유하면서 이해와 생성에 별도 매개변수를 두어 최적화 간섭을 줄이도록 설계됐습니다. 서로 다른 입력에 맞춰 선택되는 특화 하위망인 전문가 혼합 모듈로 희소 용량을 구현합니다. 모델은 31.7B 매개변수를 보유하며, 목표 잠재 토큰마다 생성용 매개변수 약 5.4B가 활성화됩니다.

연구진의 생성 중심 데이터 엔진은 지식에 기반한 시각 어휘와 대규모 시각 군집화를 결합해 의미 범위와 편집 작업의 균형을 맞춥니다. 학습 중 평가 결과를 활용해 데이터를 반복적으로 다듬었으며, 이중언어 주석과 검증된 편집 감독으로 기본 1.5K 해상도까지 점진적으로 학습했습니다. 연구진은 평가 기준표와 점검표 기반 보상으로 생성과 편집을 따로 최적화한 뒤, 노이즈를 고려한 온폴리시 증류로 특화 정책을 통합했습니다.

연구진이 보고한 종합 비교에서 1536 해상도 모델은 평가된 오픈소스 모델 가운데 PRISM-Bench, Qwen-Image-Bench, UnicBench에서 각각 1위를 차지했습니다. 평균 플로 기반 소수 단계 증류로 만든 WeLM-Image-Turbo는 NVIDIA H20 GPU 1개에서 안내 없는 8단계를 사용해 1024 × 1024 이미지를 4.98초 만에 생성합니다.

연구진이 시각적 이해와 이미지 생성을 결합한 이미지 기반 모델 WeLM-Image를 공개했습니다. 이 모델은 텍스트로 이미지 만들기, 지시문에 따른 이미지 편집, 여러 참조 이미지의 합성을 지원합니다. WeChat의 대규모 소비자 애플리케이션에서 단일 GPU로 배포하도록 설계됐습니다.

WeLM-Image는 텍스트, 참조 이미지, 생성 대상 잠재 표현을 하나의 교차 배열 시퀀스로 처리합니다. 트랜스포머 혼합 구조는 어텐션을 공유하면서 이해와 생성에 별도 매개변수를 두어 최적화 간섭을 줄이도록 설계됐습니다. 서로 다른 입력에 맞춰 선택되는 특화 하위망인 전문가 혼합 모듈로 희소 용량을 구현합니다. 모델은 31.7B 매개변수를 보유하며, 목표 잠재 토큰마다 생성용 매개변수 약 5.4B가 활성화됩니다.

연구진의 생성 중심 데이터 엔진은 지식에 기반한 시각 어휘와 대규모 시각 군집화를 결합해 의미 범위와 편집 작업의 균형을 맞춥니다. 학습 중 평가 결과를 활용해 데이터를 반복적으로 다듬었으며, 이중언어 주석과 검증된 편집 감독으로 기본 1.5K 해상도까지 점진적으로 학습했습니다. 연구진은 평가 기준표와 점검표 기반 보상으로 생성과 편집을 따로 최적화한 뒤, 노이즈를 고려한 온폴리시 증류로 특화 정책을 통합했습니다.

연구진이 보고한 종합 비교에서 1536 해상도 모델은 평가된 오픈소스 모델 가운데 PRISM-Bench, Qwen-Image-Bench, UnicBench에서 각각 1위를 차지했습니다. 평균 플로 기반 소수 단계 증류로 만든 WeLM-Image-Turbo는 NVIDIA H20 GPU 1개에서 안내 없는 8단계를 사용해 1024 × 1024 이미지를 4.98초 만에 생성합니다.