AWS、画像認識タスク向けマルチモーダル評価ツールを公開
- •AWSは、Strands Evals SDK向けに画像対テキストタスク専用のマルチモーダル評価ツール4種を公開した。
- •新ツールは、出力内容とソース画像を直接比較することで、AIのハルシネーションや事実誤認を自動検出し評価する。
- •判定モデルにはAnthropic Claude Sonnet 4.6が採用され、企業向けアプリケーションで最適な精度とコスト効率を実現する。
Amazon Web Services (AWS)は、画像からテキストを生成するモデルの検証を自動化するため、Strands Evalsソフトウェア開発キット(SDK)に4種のマルチモーダル評価ツールを追加した。これらのツールは、文書抽出やグラフの解釈、スクリーンショットの要約といった視覚タスクにおいて、従来のテキストのみの評価手法では検知が困難だったハルシネーションや根拠の欠如といった障害に対処する。ガートナーは、企業のマルチモーダル対応ソフトウェアの割合が2024年の10%未満から2030年には80%に達すると予測しており、自動品質評価の重要性が高まっている。
追加された評価ツールには、総合品質、正確性、忠実度、指示遵守の4つがある。各ツールはソース画像、クエリ、モデルの応答を同時に処理し、スコアと診断結果を出力する。総合品質は1から5の5段階評価、その他3つは合格・不合格の判定を行う。評価モードには、正解データと比較する参照ベースと、実運用環境向けの参照不要モードの双方が用意されており、開発者は既存のワークフローへ統合することで、誤った推論や書式違反などを即座に特定できる。
検証の結果、画像の説明文のみを使用する手法に比べ、マルチモーダルな判定モデルを活用する方が人間による評価との整合性が高いことが判明した。判定モデルのデフォルトとして採用されたAnthropic Claude Sonnet 4.6は、Amazon Bedrock経由で利用可能であり、精度、コスト、遅延のバランスが取れている。調査では、判定プロセスにおいてスコア算出前に理由を出力させることで、人間による評価との相関が大幅に向上した。また、包括的なプロンプトだけでなく、多角的な評価基準や多様なキャリブレーション事例を用いることで、エラーの類型を精緻に分類できるとしている。本ツール群はStrands Evalsフレームワーク内で即時に展開可能であり、デバッグやCI/CDパイプラインの効率化を支援する。