알리바바, 이미지 생성 AI의 ‘공간 지능’ 벤치마크 공개
- •알리바바 연구진이 1,230개의 프롬프트를 통해 텍스트-이미지 생성 모델의 공간 추론 능력을 테스트하는 ‘SpatialGenEval’ 벤치마크를 도입했다.
- •21개의 주요 모델을 평가한 결과, 물체가 가려지는 폐색(occlusion)이나 인과 관계와 같은 고차원적 과제에서 심각한 성능 결함이 발견됐다.
- •새로운 ‘SpatialT2I’ 데이터셋으로 모델을 미세 조정하자 최대 5.7%의 일관된 성능 향상을 기록했다.
현재의 텍스트-이미지 생성 모델은 시각적으로는 화려하지만, 공간적 논리를 세밀하게 따져보면 논리 구조가 쉽게 무너지는 한계를 보인다. 가령 ‘매트 위의 고양이’는 곧잘 그려내지만, ‘귀만 보이는 상자 뒤에 숨은 고양이’처럼 깊이감이나 물리적 상호작용의 미묘한 차이를 파악해야 하는 묘사에는 서투른 모습이다.
알리바바(Alibaba-inc) 연구진은 이러한 간극을 메우기 위해 정보 밀도가 높은 1,230개의 프롬프트로 시스템의 공간 지능을 정밀하게 측정하는 표준화된 성능 테스트 도구인 SpatialGenEval 벤치마크를 개발했다.
이 벤치마크는 단순한 사물 배치를 넘어, 물체가 서로를 가리는 폐색 현상이나 인과 관계를 포함한 복잡한 시나리오로 모델을 시험한다.
연구진이 21개의 SOTA 모델을 평가한 결과, 가장 발전된 시스템조차 고차원적인 공간 추론에서 큰 병목 현상을 겪고 있다는 점이 확인됐다. 이는 현재의 학습 데이터가 물리적 객체가 3차원 공간을 실제로 어떻게 점유하는지에 대해 모델이 학습할 수 있을 만큼 상세한 설명을 갖추지 못했음을 시사한다.
이를 해결하기 위해 연구진은 15,400개의 고품질 텍스트-이미지 쌍으로 구성된 SpatialT2I 데이터셋을 함께 공개했다.
광범위한 멀티모달 AI 범주에 속하는 Stable Diffusion-XL과 같은 파운데이션 모델을 미세 조정한 결과, 공간적 정확도에서 유의미한 개선을 달성했다.
이번 연구는 공간 지능이 단순한 아키텍처의 설계 문제가 아니라, 학습 과정에서 모델에게 더 정밀하고 공간 인지적인 설명을 제공함으로써 해결할 수 있는 데이터 중심의 과제임을 보여주었다.