VisSearch-Bench、マルチモーダル視覚検索を評価

11月3日に公開された研究論文は、長時間のウェブ検索でマルチモーダルエージェントが視覚情報を扱えるかを測るベンチマーク「VisSearch-Bench」を発表しました。タスクでは、画像や物体、検索手順をまたいで情報を結び付ける必要があります。最初の画像で対象を特定した後、テキスト検索に頼るだけでは解けません。候補の比較や視覚的な手掛かりの追跡、外部情報と見た目・局所的な特徴・空間関係の統合が求められる場合があります。

VisSearch-Benchは、人間が作成した204件のタスクを7分野、25下位分野に分けて収録しています。5つの分類は、集合単位の視覚検索、逐次的な視覚検索、広範囲検索と詳細検索の組み合わせ、競合候補の視覚的判別、視覚構造に基づく検索です。各タスクには参照回答、追跡可能な根拠、採点規則が含まれます。正解率はタスク全体を完了できたかを測り、プロセススコアは個別の結果や小問への回答の正確さと網羅性を測ります。

著者らは16種類のマルチモーダルモデルを評価しました。検索ツールを利用できる場合でも、最高性能のシステムが完全に解けたタスクは26.47％にとどまりました。論文は、視覚的な根拠と検索結果を結び付け、完全な回答を作ることを課題として挙げています。Hugging Faceの掲載情報によると、論文は11月6日にWu Zhengxianが投稿し、Ant Groupの名前が記載されています。論文にはZhengXian Wuとほか12人の著者が記載されています。

11月3日に公開された研究論文は、長時間のウェブ検索でマルチモーダルエージェントが視覚情報を扱えるかを測るベンチマーク「VisSearch-Bench」を発表しました。タスクでは、画像や物体、検索手順をまたいで情報を結び付ける必要があります。最初の画像で対象を特定した後、テキスト検索に頼るだけでは解けません。候補の比較や視覚的な手掛かりの追跡、外部情報と見た目・局所的な特徴・空間関係の統合が求められる場合があります。

VisSearch-Benchは、人間が作成した204件のタスクを7分野、25下位分野に分けて収録しています。5つの分類は、集合単位の視覚検索、逐次的な視覚検索、広範囲検索と詳細検索の組み合わせ、競合候補の視覚的判別、視覚構造に基づく検索です。各タスクには参照回答、追跡可能な根拠、採点規則が含まれます。正解率はタスク全体を完了できたかを測り、プロセススコアは個別の結果や小問への回答の正確さと網羅性を測ります。

著者らは16種類のマルチモーダルモデルを評価しました。検索ツールを利用できる場合でも、最高性能のシステムが完全に解けたタスクは26.47％にとどまりました。論文は、視覚的な根拠と検索結果を結び付け、完全な回答を作ることを課題として挙げています。Hugging Faceの掲載情報によると、論文は11月6日にWu Zhengxianが投稿し、Ant Groupの名前が記載されています。論文にはZhengXian Wuとほか12人の著者が記載されています。