Intern Lumina U2、視覚AIタスクを統合
- •上海AI研究所の研究者が、視覚理解と生成を統合する拡散モデルIntern Lumina U2を発表
- •総パラメーター数169億、稼働パラメーター数14億で、各位置に8個の離散視覚コードを使用
- •画像生成を4.45倍高速化し、画像・動画・3Dの各ベンチマークで高い成績を報告
上海AI研究所の研究者は、視覚理解と生成を行う拡散言語モデルIntern Lumina U2を発表しました。論文は10月14日に公開され、10月16日にHugging Faceへ提出されました。モデルは複数の離散視覚コード群を使い、テキスト、画像、動画、3Dコンテンツを単一の基盤モデルで処理します。著者らによると、複数コードブックの視覚トークンを完全な離散空間で表現する拡散言語モデルは初めてです。
各視覚位置には8個のATokenコードがあり、入力時に埋め込みを組み合わせます。軽量な自己回帰ヘッドは各位置のコードを順番に予測し、拡散基盤モデルは各位置を並列に処理します。混合専門家モデルの総パラメーター数は169億、稼働するパラメーター数は14億です。視覚理解、テキストからの画像生成、画像編集に対応し、AscendとNVIDIAの各プラットフォームで学習・実行・評価されました。Ascend 910B NPUを1,024基使った実行も行われました。
論文によると、画像理解ベンチマーク10項目のうち6項目で最高または同率の成績を記録し、同じ基盤モデルを使うLLaDA2.0-Uniを10項目中8項目で上回りました。スコアはCharXiv-DQが85.9、HallusionBenchが64.6、MathVisionが36.5、DynaMathが63.6でした。動画ベンチマーク3項目でも首位となり、Video-MMEは56.7、MLVUは62.1、MVBenchは61.8でした。3DのMM-Vetでは50.5を記録し、ShapeLLMとPointLLMを上回りました。
テキストからの画像生成では、統合モデルの中でDPG-Benchが87.79、UniGenBenchが86.11、TIIF-Benchが短いプロンプトで88.57、長いプロンプトで87.08となり、いずれも最高成績を報告しました。GenEvalでは89で首位に並びました。著者らはFLUX.1-devを上回り、稼働パラメーター数が約14分の1ながら、GenEval、UniGenBench、TIIF-BenchでQwen-Imageを上回ったとしています。信頼度に基づくサンプリングとキャッシュ更新により、画像生成を4.45倍高速化しました。VeriphyT2IBenchのLocal指標では76.58を記録し、GPT-Image-1とGemini 2.5 Flash Imageを上回りました。GenExam-Physicsの緩和スコアは44.8で、汎用統合モデルの中で最高だったと報告しています。