MMEnterprise-Bench、矛盾する記録を基にエンタープライズAIエージェントを検証
- •MMEnterprise-Benchは、時間とともに変化する職場の記録に関する1,613問でAIエージェントを検証する
- •10種類のマルチモーダルLLMのうち最も優れたモデルでも、矛盾する情報や複数画像にまたがる証拠の扱いに苦戦する
- •検索量を増やすと証拠の再現率は向上するが、回答精度は一貫して向上しない
Seohyun Lee、Jongha Kim、Dohwan Ko、Ji Soo Lee、Seoung Choi、Jayun Ku、Hyunwoo J. Kimらの研究者は、チーム内の協業を通じて変化する職場の記録に対して、マルチモーダルAIエージェントが質問に答えられるかを検証するベンチマーク「MMEnterprise-Bench」を発表しました。この研究はarXivに10月20日付で掲載され、Hugging Faceには10月21日に投稿されたと報じられています。エンタープライズ環境では、情報が文書、チャット、図表の間で共有・修正・改訂されるため、同じ事実の複数のバージョンがワークスペースに蓄積されます。著者らは、信頼できる質問応答には、十分な証拠に基づいて推論し、異なる情報源や時間の経過をまたぐ矛盾を解決し、証拠では答えを確定できない場合を認識できることが必要だと主張しています。
これらの能力を測定するため、研究チームは30の模擬協業プロジェクトから得た、変化し続けるマルチモーダル記録に基づく1,613問のベンチマークを構築しました。対象となる記録は7,140件のテキストと画像です。質問は「証拠推論」「矛盾解決」「回答不能」の3つのカテゴリに分かれています。論文は、このベンチマークが証拠推論、情報源間および時間的な矛盾の解決、回答不能な質問の認識を検証すると述べています。
チームは、独自型およびオープンソース型の10種類のマルチモーダルLLMを評価しました。論文によれば、証拠に情報源間または時間的な矛盾が含まれる場合や、複数の画像にまたがる場合には、最も優れたモデルであっても苦戦します。また著者らは、検索量を増やしたり、より大きな検索器を用いたりすると証拠の再現率は向上するものの、回答精度は一貫して向上しないことも確認しました。論文は、変化する職場の記録に対する推論は依然として根強い課題であり、MMEnterprise-Benchはより信頼性の高いエンタープライズ向けエージェントを開発するための試験環境になると結論づけています。コードとデータは論文内のプロジェクトページで公開されています。