Amazon、商品ページ品質の評価システムを試験

Amazon MarketplaceはAmazon SageMaker AI上で複数モデルを組み合わせ、商品ページのテキスト、画像、動画で構成されるA+ Contentを評価し、改善策を提案しています。Amazonによると、質の高いA+ Contentを持つ販売パートナーは、持たないパートナーに比べて売上が8～20％増加します。画像比率や文字数に厳格なルールがないため、デザイン部門を持つブランドと小規模な販売業者の間で品質に差が出ています。評価では各ページを1枚の画像として表示し、画像と言葉を一緒に解釈する視覚・言語モデル（画像と言葉をまとめて分析するモデル）が、ページ内の各要素を全体として判断します。

システムは視覚・言語モデルと評価基準を固定し、その採点結果を専門家のラベルで学習したCatBoost分類器に入力します。評価基準は「ビジュアルストーリーテリング」「機能の提示」「A+レイアウト」「購入促進」の4項目を0～10点で採点し、確信度と理由も記します。ECマーケティング専門家1人と評価者4人が、10カテゴリーにわたる商品ページ5,478件を高品質または低品質に分類し、多数決でラベルを決めました。高品質とされたページは49.6％でした。評価者と合意ラベルとの一致度は、偶然の一致を調整する指標であるコーエンのカッパで0.845～0.915でした。

検証用に分けたページ約1,100件（全体の20％）では、視覚・言語モデルの4項目の平均点を使う基準モデルが、高品質ページの正解率0.80、F1値0.84でした。視覚・言語モデルの採点結果を使ったCatBoostは正解率0.89、F1値0.90でした。チームはさらに、画像内の文字を検出する光学文字認識（OCR）の情報として、文字の密度、文字数の密度、間隔、全体の読みやすさを加えました。これらはレイアウトを測るため、文言が同じでもページごとに異なる評価になります。OCR情報だけを使うCatBoostは正解率0.82、F1値0.83でした。視覚・言語モデルとOCRの各4項目を組み合わせると、正解率0.94、F1値0.95となり、基準モデルからそれぞれ0.14、0.11上昇しました。

チームはSHAP（各入力情報がモデルの判断に与える影響を推定する手法）を使い、ページ評価を左右する要素を調べました。検証用データ全体では、OCRの文字密度が平均絶対SHAP値1.1で最も影響が大きく、OCRの全体的な読みやすさと視覚・言語モデルのビジュアルストーリーテリングがともに1.0、A+レイアウトが0.8、機能の提示が0.6、購入促進が0.4でした。低品質ページについては、最もマイナスの影響を与えた項目、商品カテゴリー、ECのベストプラクティス、モデルの評価理由を大規模言語モデルに渡し、優先度付きの改善案を作成します。一例では、A+レイアウトの寄与度-1.2が、ビジュアルストーリーテリングの-0.3より先に示されました。販売業者が内容を改訂した後、統計的に有意なサンプルで品質スコアは10点満点中、平均1.4点上昇しました。

別の実験では、単一カテゴリーのコンテンツ案件499件を使い、視覚・言語モデルの基盤を変更しました。軽量版モデルでは基準モデルの正解率が0.74、F1値が0.72でしたが、記事の最終文はその後の結果を示す前に途切れています。

Amazon MarketplaceはAmazon SageMaker AI上で複数モデルを組み合わせ、商品ページのテキスト、画像、動画で構成されるA+ Contentを評価し、改善策を提案しています。Amazonによると、質の高いA+ Contentを持つ販売パートナーは、持たないパートナーに比べて売上が8～20％増加します。画像比率や文字数に厳格なルールがないため、デザイン部門を持つブランドと小規模な販売業者の間で品質に差が出ています。評価では各ページを1枚の画像として表示し、画像と言葉を一緒に解釈する視覚・言語モデル（画像と言葉をまとめて分析するモデル）が、ページ内の各要素を全体として判断します。

システムは視覚・言語モデルと評価基準を固定し、その採点結果を専門家のラベルで学習したCatBoost分類器に入力します。評価基準は「ビジュアルストーリーテリング」「機能の提示」「A+レイアウト」「購入促進」の4項目を0～10点で採点し、確信度と理由も記します。ECマーケティング専門家1人と評価者4人が、10カテゴリーにわたる商品ページ5,478件を高品質または低品質に分類し、多数決でラベルを決めました。高品質とされたページは49.6％でした。評価者と合意ラベルとの一致度は、偶然の一致を調整する指標であるコーエンのカッパで0.845～0.915でした。

検証用に分けたページ約1,100件（全体の20％）では、視覚・言語モデルの4項目の平均点を使う基準モデルが、高品質ページの正解率0.80、F1値0.84でした。視覚・言語モデルの採点結果を使ったCatBoostは正解率0.89、F1値0.90でした。チームはさらに、画像内の文字を検出する光学文字認識（OCR）の情報として、文字の密度、文字数の密度、間隔、全体の読みやすさを加えました。これらはレイアウトを測るため、文言が同じでもページごとに異なる評価になります。OCR情報だけを使うCatBoostは正解率0.82、F1値0.83でした。視覚・言語モデルとOCRの各4項目を組み合わせると、正解率0.94、F1値0.95となり、基準モデルからそれぞれ0.14、0.11上昇しました。

チームはSHAP（各入力情報がモデルの判断に与える影響を推定する手法）を使い、ページ評価を左右する要素を調べました。検証用データ全体では、OCRの文字密度が平均絶対SHAP値1.1で最も影響が大きく、OCRの全体的な読みやすさと視覚・言語モデルのビジュアルストーリーテリングがともに1.0、A+レイアウトが0.8、機能の提示が0.6、購入促進が0.4でした。低品質ページについては、最もマイナスの影響を与えた項目、商品カテゴリー、ECのベストプラクティス、モデルの評価理由を大規模言語モデルに渡し、優先度付きの改善案を作成します。一例では、A+レイアウトの寄与度-1.2が、ビジュアルストーリーテリングの-0.3より先に示されました。販売業者が内容を改訂した後、統計的に有意なサンプルで品質スコアは10点満点中、平均1.4点上昇しました。

別の実験では、単一カテゴリーのコンテンツ案件499件を使い、視覚・言語モデルの基盤を変更しました。軽量版モデルでは基準モデルの正解率が0.74、F1値が0.72でしたが、記事の最終文はその後の結果を示す前に途切れています。