상하이 AI 연구소 연구진은 시각 이해와 생성을 위한 확산 언어 모델 Intern Lumina U2를 발표했습니다. 논문은 10월 14일 공개됐고, 10월 16일 Hugging Face에 제출됐습니다. 모델은 여러 묶음의 이산 시각 코드를 사용해 하나의 백본으로 텍스트, 이미지, 영상, 3D 콘텐츠를 처리합니다. 저자들은 시각 토큰을 완전히 이산적인 공간에서 표현하는 첫 확산 언어 모델이라고 밝혔습니다.

각 시각 위치에는 AToken 코드 8개가 들어갑니다. 입력 단계에서 코드 임베딩을 결합하고, 경량 자기회귀 헤드는 각 위치 안의 코드를 순차적으로 예측하며 확산 백본은 여러 위치를 병렬 처리합니다. 전문가 혼합 구조를 적용한 모델의 전체 매개변수는 169억 개이며, 이 가운데 14억 개를 활성화합니다. 시각 이해, 텍스트 기반 이미지 생성과 이미지 편집을 지원하며, Ascend와 NVIDIA 플랫폼에서 학습·실행·평가됐습니다. 여기에는 Ascend 910B NPU 1,024개를 사용한 실행도 포함됩니다.

논문에 따르면 이미지 이해 벤치마크 10개 중 6개에서 단독 또는 공동 최고 성적을 기록했고, 같은 백본을 쓴 LLaDA2.0-Uni보다 10개 중 8개에서 높은 성적을 냈습니다. 점수는 CharXiv-DQ 85.9, HallusionBench 64.6, MathVision 36.5, DynaMath 63.6입니다. 보고된 영상 벤치마크 3개에서도 선두를 기록했습니다. Video-MME는 56.7, MLVU는 62.1, MVBench는 61.8이었으며, 3D MM-Vet 점수는 50.5로 ShapeLLM과 PointLLM보다 높았습니다.

텍스트 기반 이미지 생성에서는 통합 모델 가운데 DPG-Bench 87.79, UniGenBench 86.11에서 선두를 기록했습니다. TIIF-Bench 점수는 짧은 프롬프트에서 88.57, 긴 프롬프트에서 87.08이었고, GenEval에서는 최고 성적을 공동으로 기록한 점수 89를 얻었습니다. 저자들은 FLUX.1-dev보다 높은 성적을 냈으며, GenEval·UniGenBench·TIIF-Bench에서 Qwen-Image를 앞서면서 활성화 매개변수는 약 14분의 1이었다고 보고했습니다. 신뢰도 안내 샘플링과 캐시 갱신을 결합한 방식은 이미지 생성을 4.45배 가속했습니다. VeriphyT2IBench의 Local 지표 점수는 76.58로 GPT-Image-1과 Gemini 2.5 Flash Image보다 높았고, GenExam-Physics 완화 점수는 44.8로 범용 통합 모델 가운데 가장 높았습니다.

상하이 AI 연구소 연구진은 시각 이해와 생성을 위한 확산 언어 모델 Intern Lumina U2를 발표했습니다. 논문은 10월 14일 공개됐고, 10월 16일 Hugging Face에 제출됐습니다. 모델은 여러 묶음의 이산 시각 코드를 사용해 하나의 백본으로 텍스트, 이미지, 영상, 3D 콘텐츠를 처리합니다. 저자들은 시각 토큰을 완전히 이산적인 공간에서 표현하는 첫 확산 언어 모델이라고 밝혔습니다.

각 시각 위치에는 AToken 코드 8개가 들어갑니다. 입력 단계에서 코드 임베딩을 결합하고, 경량 자기회귀 헤드는 각 위치 안의 코드를 순차적으로 예측하며 확산 백본은 여러 위치를 병렬 처리합니다. 전문가 혼합 구조를 적용한 모델의 전체 매개변수는 169억 개이며, 이 가운데 14억 개를 활성화합니다. 시각 이해, 텍스트 기반 이미지 생성과 이미지 편집을 지원하며, Ascend와 NVIDIA 플랫폼에서 학습·실행·평가됐습니다. 여기에는 Ascend 910B NPU 1,024개를 사용한 실행도 포함됩니다.

논문에 따르면 이미지 이해 벤치마크 10개 중 6개에서 단독 또는 공동 최고 성적을 기록했고, 같은 백본을 쓴 LLaDA2.0-Uni보다 10개 중 8개에서 높은 성적을 냈습니다. 점수는 CharXiv-DQ 85.9, HallusionBench 64.6, MathVision 36.5, DynaMath 63.6입니다. 보고된 영상 벤치마크 3개에서도 선두를 기록했습니다. Video-MME는 56.7, MLVU는 62.1, MVBench는 61.8이었으며, 3D MM-Vet 점수는 50.5로 ShapeLLM과 PointLLM보다 높았습니다.

텍스트 기반 이미지 생성에서는 통합 모델 가운데 DPG-Bench 87.79, UniGenBench 86.11에서 선두를 기록했습니다. TIIF-Bench 점수는 짧은 프롬프트에서 88.57, 긴 프롬프트에서 87.08이었고, GenEval에서는 최고 성적을 공동으로 기록한 점수 89를 얻었습니다. 저자들은 FLUX.1-dev보다 높은 성적을 냈으며, GenEval·UniGenBench·TIIF-Bench에서 Qwen-Image를 앞서면서 활성화 매개변수는 약 14분의 1이었다고 보고했습니다. 신뢰도 안내 샘플링과 캐시 갱신을 결합한 방식은 이미지 생성을 4.45배 가속했습니다. VeriphyT2IBench의 Local 지표 점수는 76.58로 GPT-Image-1과 Gemini 2.5 Flash Image보다 높았고, GenExam-Physics 완화 점수는 44.8로 범용 통합 모델 가운데 가장 높았습니다.