YANAMI、複数ターンの画像対話モデルを評価
HuggingFace2026年11月5日 (木)
- •研究者が、会話の進行に伴う情報の変化を調べるマルチモーダル対話データセットと評価基準「YANAMI」を公開
- •YANAMI-400Kは40万件の対話、200万点超の画像、260万回の対話ターンで構成
- •BAGELの追加学習で画像編集は10.3%、画像生成は2.0%、論文が名を示さない第3の課題は13.23%改善
研究者らは、会話の複数ターンにわたる情報の変化をモデルが追跡し、それに応じて応答できるかを評価するマルチモーダル対話データセットとベンチマーク「YANAMI」を発表しました。論文は11月3日に公開され、11月4日にHugging Faceへ提出されました。著者らによると、既存の統合型マルチモーダルデータセットの多くは単一ターンの課題を評価しており、複数ターンの課題でも以前のやり取りを記憶しなくても回答できる場合があります。
YANAMI-400Kは、複数ターンの対話40万件、画像200万点超、対話ターン260万回で構成されます。対話の場面は、複数画像の情報を組み合わせる課題、画像編集、世界モデル、視覚推論の4種類です。YANAMI-Benchは複数ターンの対話400件を収録し、対話状態の理解と、会話内容を反映した画像を生成する「視覚的実現」の両方を評価します。この評価により、会話中に変化する指示を理解し、画像出力に反映できるかを測ります。
実験では、YANAMI-400Kを使ってBAGELを追加学習させたところ、画像編集が10.3%、画像生成が2.0%、論文が名称を示していない第3の課題が13.23%改善し、一般的な視覚理解能力も維持されました。論文の要旨は第3の課題を明記していませんが、Hugging Faceのコミュニティ投稿では、13.23ポイントの向上はベンチマーク成績の改善と説明されています。YANAMI-Benchによる評価では、既存の統合型マルチモーダルモデルは、対話状態を維持・更新し、その内容を画像に正確に反映することに依然として苦戦しました。