画像生成・編集統合モデル「WeLM-Image」発表

研究チームは、画像の理解と生成を組み合わせた基盤モデル「WeLM-Image」を発表しました。テキストからの画像生成、指示に沿った編集、複数の参照画像を使った合成に対応します。WeChatの大規模な消費者向けアプリで、単一GPUにより動作させる設計です。

WeLM-Imageは、テキスト、参照画像、生成対象の潜在表現を交互に並べた一つの系列として処理します。バックボーンには、アテンション機構を共有しながら、理解用と生成用のパラメーターを分け、最適化の干渉を抑える「Mixture-of-Transformers」を採用しました。入力に応じて選ばれる専門サブネットワーク「Mixture-of-Experts」により、モデルは317億パラメーターを保持し、生成では対象の潜在トークンごとに約54億パラメーターが稼働します。

生成に重点を置いたデータエンジンは、知識に基づく視覚語彙と大規模な視覚クラスタリングを組み合わせ、意味の網羅性と編集タスクのバランスを取ります。学習中の評価を使ってデータを反復的に改善し、二言語の注釈と検証済みの編集教師データによって、ネイティブの1.5K解像度まで段階的に学習させました。研究チームは、評価基準とチェックリストに基づく報酬を使って生成と編集を別々に最適化し、その後、ノイズを考慮したオンポリシー蒸留で専門化した方策を統合しました。

報告された総合比較では、解像度1536版が、評価対象のオープンソースモデルの中でPRISM-Bench、Qwen-Image-Bench、UnicBenchの3つで首位になりました。Mean Flowベースの少ステップ蒸留で作られた「WeLM-Image-Turbo」は、NVIDIA H20 GPU 1基とガイダンスなしの8ステップを使い、1024 × 1024ピクセルの画像を4.98秒で生成します。

研究チームは、画像の理解と生成を組み合わせた基盤モデル「WeLM-Image」を発表しました。テキストからの画像生成、指示に沿った編集、複数の参照画像を使った合成に対応します。WeChatの大規模な消費者向けアプリで、単一GPUにより動作させる設計です。

WeLM-Imageは、テキスト、参照画像、生成対象の潜在表現を交互に並べた一つの系列として処理します。バックボーンには、アテンション機構を共有しながら、理解用と生成用のパラメーターを分け、最適化の干渉を抑える「Mixture-of-Transformers」を採用しました。入力に応じて選ばれる専門サブネットワーク「Mixture-of-Experts」により、モデルは317億パラメーターを保持し、生成では対象の潜在トークンごとに約54億パラメーターが稼働します。

生成に重点を置いたデータエンジンは、知識に基づく視覚語彙と大規模な視覚クラスタリングを組み合わせ、意味の網羅性と編集タスクのバランスを取ります。学習中の評価を使ってデータを反復的に改善し、二言語の注釈と検証済みの編集教師データによって、ネイティブの1.5K解像度まで段階的に学習させました。研究チームは、評価基準とチェックリストに基づく報酬を使って生成と編集を別々に最適化し、その後、ノイズを考慮したオンポリシー蒸留で専門化した方策を統合しました。

報告された総合比較では、解像度1536版が、評価対象のオープンソースモデルの中でPRISM-Bench、Qwen-Image-Bench、UnicBenchの3つで首位になりました。Mean Flowベースの少ステップ蒸留で作られた「WeLM-Image-Turbo」は、NVIDIA H20 GPU 1基とガイダンスなしの8ステップを使い、1024 × 1024ピクセルの画像を4.98秒で生成します。