動画キャプションで重要な証拠を優先するReviso

研究者らは11月3日公開の論文で、動画キャプションを作るエージェント型の枠組みRevisoを提案しました。細かな視覚情報を一律に並べるのではなく、重要な出来事や文脈を強調することを目指します。4つの動画キャプション用ベンチマークでの実験では、評価対象のオープンソース方式を上回り、動画に関する質問応答にもより役立つキャプションを生成しました。

Revisoはまず、動画を低フレームレートでプレビューし、階層型のContext–Focus–Points（CFP）計画を作ります。この計画で全体の文脈を把握し、重要な側面に優先順位をつけ、詳しく調べる対象とツールを定めます。次に、動画の区間を選んで再確認し、複数のツールで詳しく調べながら、証拠を解釈して計画を更新します。最後に、動画全体と選んだ区間から得た情報を組み合わせ、キャプションを作成します。

研究者らはこの観察方法を学習させるため、事実の正確さを確認し、教師モデルの指針で学習例を改良する訓練工程も作りました。Revisoの訓練にはグループ相対方策最適化（GRPO）を使い、キャプションの質を測る重要事実報酬、重要な観察対象の選択を測る計画整合報酬（PAR）、非生産的ツール呼び出しペナルティ（UTCP）を組み合わせました。UTCPはキャプションの質に応じて観察コストへの罰則を調整します。論文は評価対象のオープンソース方式との比較結果と、動画質問応答への対応改善を報告していますが、提供された要旨にはベンチマークの得点は記載されていません。

研究者らは11月3日公開の論文で、動画キャプションを作るエージェント型の枠組みRevisoを提案しました。細かな視覚情報を一律に並べるのではなく、重要な出来事や文脈を強調することを目指します。4つの動画キャプション用ベンチマークでの実験では、評価対象のオープンソース方式を上回り、動画に関する質問応答にもより役立つキャプションを生成しました。

Revisoはまず、動画を低フレームレートでプレビューし、階層型のContext–Focus–Points（CFP）計画を作ります。この計画で全体の文脈を把握し、重要な側面に優先順位をつけ、詳しく調べる対象とツールを定めます。次に、動画の区間を選んで再確認し、複数のツールで詳しく調べながら、証拠を解釈して計画を更新します。最後に、動画全体と選んだ区間から得た情報を組み合わせ、キャプションを作成します。

研究者らはこの観察方法を学習させるため、事実の正確さを確認し、教師モデルの指針で学習例を改良する訓練工程も作りました。Revisoの訓練にはグループ相対方策最適化（GRPO）を使い、キャプションの質を測る重要事実報酬、重要な観察対象の選択を測る計画整合報酬（PAR）、非生産的ツール呼び出しペナルティ（UTCP）を組み合わせました。UTCPはキャプションの質に応じて観察コストへの罰則を調整します。論文は評価対象のオープンソース方式との比較結果と、動画質問応答への対応改善を報告していますが、提供された要旨にはベンチマークの得点は記載されていません。