動画コード字幕を測るCodeCap-Bench

研究者らは、マルチモーダル大規模言語モデルが動画を実行可能なコード字幕に変換できるかを調べるベンチマーク「CodeCap-Bench」を発表しました。論文は10月27日に公開され、10月28日にHugging Faceへ提出されました。自然言語による説明に代わる表現として、コード字幕を評価します。

研究者らによると、自然言語の字幕は細かな空間構造や時間的な変化を説明する際、長くなったり曖昧になったりすることがあります。コード字幕は図形の基本要素、配置規則、時間に基づく関数を使い、映像内容を実行可能なプログラムで表します。

論文は、後続の質問応答と動画再構成の課題で、コード字幕と自然言語の字幕を比較しました。要旨に数値は示していませんが、コード字幕は推論の正確さと再構成の忠実度でより高い結果を得たと報告しています。

CodeCap-Benchは、構造化された2Dコンテンツの動画323本を5カテゴリに分け、細粒度の注釈と多段階評価の枠組みを備えています。研究者らの実験では、主要な非公開マルチモーダルモデルはコード字幕の生成に有望な能力を示したものの、複雑な時間的変化を忠実に捉えることには依然として苦戦しました。オープンソースモデルは大きく後れを取りました。このベンチマークは、モデルが動画内容をどれほど忠実にコード字幕へ変換するかを測るために設計されています。

研究者らは、マルチモーダル大規模言語モデルが動画を実行可能なコード字幕に変換できるかを調べるベンチマーク「CodeCap-Bench」を発表しました。論文は10月27日に公開され、10月28日にHugging Faceへ提出されました。自然言語による説明に代わる表現として、コード字幕を評価します。

研究者らによると、自然言語の字幕は細かな空間構造や時間的な変化を説明する際、長くなったり曖昧になったりすることがあります。コード字幕は図形の基本要素、配置規則、時間に基づく関数を使い、映像内容を実行可能なプログラムで表します。

論文は、後続の質問応答と動画再構成の課題で、コード字幕と自然言語の字幕を比較しました。要旨に数値は示していませんが、コード字幕は推論の正確さと再構成の忠実度でより高い結果を得たと報告しています。

CodeCap-Benchは、構造化された2Dコンテンツの動画323本を5カテゴリに分け、細粒度の注釈と多段階評価の枠組みを備えています。研究者らの実験では、主要な非公開マルチモーダルモデルはコード字幕の生成に有望な能力を示したものの、複雑な時間的変化を忠実に捉えることには依然として苦戦しました。オープンソースモデルは大きく後れを取りました。このベンチマークは、モデルが動画内容をどれほど忠実にコード字幕へ変換するかを測るために設計されています。