Jeveration, 이미지 생성 한 번에 처리
- •싱가포르국립대 연구진, 이미지 생성·시각 작업을 위한 Jeveration 공개
- •512×512 이미지 78ms 생성, 기존 통합 모델보다 최대 122배 빠른 속도
- •체크포인트 하나로 텍스트·이미지 변환과 픽셀 단위 예측 지원
싱가포르국립대의 Liu Yuhe, Li Qi, Zhang Shihua, Wang Xinchao 연구진이 이미지 생성과 이미지 간 변환, 밀집 예측을 한 번의 순전파로 수행하는 모델 Jeveration을 공개했습니다. arXiv에 게재되고 Hugging Face Papers의 ‘오늘의 논문’ 1위로 선정된 논문에 따르면, Jeveration은 512×512 이미지를 78ms에 생성하며 기존 통합 모델보다 최대 122배 빠릅니다. 연구진은 이미지 품질과 밀집 예측 성능도 경쟁력 있는 수준이라고 보고했습니다.
Jeveration은 이미지와 텍스트를 함께 처리하는 고정된 비전-언어 모델을 재활용해, 모델이 학습한 시각·의미 지식을 이미지 생성에 활용합니다. 연구진은 모델이 이미지의 모든 부분을 동시에 예측할 때 전체 이미지의 일관성을 유지하는 일이 과제라고 설명했습니다. 하나의 텍스트 입력에 여러 이미지가 어울릴 수 있으므로 각 부분의 예측이 서로 맞아야 합니다. 연구진은 모든 위치에 공유 무작위 상태를 조건으로 제공해, 매번 다른 이미지를 만들면서도 각 이미지의 일관성을 유지하도록 했습니다.
이미지 자체를 직접 정답으로 삼아 학습하면 모델이 무작위 상태를 무시할 수 있어, 연구진은 먼저 이산 이미지 코드의 분포를 학습해 한 번의 처리로 생성하도록 이끌었습니다. 동일한 구조와 체크포인트는 텍스트-이미지 생성, 이미지-이미지 생성, 밀집 예측을 지원합니다. 밀집 예측은 이미지의 각 위치에 값이나 레이블을 부여하는 작업입니다. 논문은 실험에서 이미지 품질과 밀집 예측이 경쟁력 있는 결과를 보였으며, 이미지 생성 시간은 78ms였다고 밝혔습니다.
가장 빠르고 정확한 AI 소식, 이메일로 받아보세요