Amazon, 마켓플레이스 콘텐츠 품질 평가 시스템 시험

Amazon 마켓플레이스는 Amazon SageMaker AI에서 다중 모델 시스템을 운영해 상품 페이지의 A+ 콘텐츠를 평가하고 개선 방안을 권고합니다. A+ 콘텐츠는 텍스트, 이미지, 동영상으로 구성됩니다. Amazon은 고품질 A+ 콘텐츠를 보유한 판매 파트너의 매출이 그렇지 않은 파트너보다 8~20% 높다고 밝혔습니다. 이미지 비율이나 단어 수에 엄격한 규칙이 없어 브랜드와 판매자별 콘텐츠 품질은 달라집니다. 시스템은 각 페이지를 하나의 이미지로 렌더링해 시각·언어 모델이 여러 구성 요소의 전체적인 조화를 평가하도록 합니다.

시스템은 시각·언어 모델과 평가 기준을 고정하고, 모델 점수를 전문가 평가로 학습한 CatBoost 분류기에 입력합니다. 평가 기준은 시각적 스토리텔링, 기능 소개, A+ 레이아웃, 전환 최적화 등 4개 항목을 0~10점으로 매기며, 신뢰도와 서술형 근거도 제공합니다. 전자상거래 마케팅 전문가 1명과 평가자 4명이 10개 범주의 상품 페이지 5,478개를 고품질 또는 저품질로 분류했고, 다수결 결과 49.6%가 고품질로 표시됐습니다. 평가자와 합의된 분류 간 일치도는 우연에 따른 일치를 보정하는 코언의 카파 기준 0.845~0.915였습니다.

약 1,100개 페이지로 구성된 20% 검증 세트에서 시각·언어 모델 점수 4개의 평균을 사용한 기준 모델은 고품질 페이지 분류 정확도 0.80, F1 점수 0.84를 기록했습니다. 시각·언어 모델 점수를 사용한 CatBoost는 정확도 0.89, F1 점수 0.90을 냈습니다. 연구진은 광학 문자 인식(OCR)으로 이미지 속 텍스트 밀도, 문자 밀도, 간격, 전반적인 가독성 신호를 추가했습니다. 이 신호는 레이아웃을 측정하므로 문구가 같은 페이지도 다른 점수를 받을 수 있습니다. OCR만 적용한 CatBoost는 정확도 0.82, F1 점수 0.83을 기록했습니다. 시각·언어 모델과 OCR 특성을 각각 4개씩 결합한 모델은 정확도 0.94, F1 점수 0.95를 달성해 기준 모델보다 각각 0.14, 0.11 높았습니다.

연구진은 SHAP을 활용해 각 입력 특성이 모델의 판단에 미치는 영향을 추정했습니다. 검증 세트에서 영향이 큰 특성은 OCR 문자 밀도(평균 절대 SHAP 값 1.1), OCR 전반적 가독성과 시각·언어 모델의 시각적 스토리텔링(각 1.0), A+ 레이아웃(0.8), 기능 소개(0.6), 전환 최적화(0.4) 순이었습니다. 저품질 페이지에는 영향이 가장 부정적인 특성, 상품 범주, 전자상거래 모범 사례, 시각·언어 모델의 근거를 대규모 언어 모델에 전달해 우선순위별 개선안을 만들었습니다. 한 사례에서는 A+ 레이아웃의 기여도 -1.2가 시각적 스토리텔링의 -0.3보다 먼저 제시됐습니다. 판매자가 콘텐츠를 수정한 뒤, 통계적으로 유의한 표본에서 평균 품질 점수는 10점 만점에 1.4점 올랐습니다.

추가 실험에서는 단일 범주의 콘텐츠 프로젝트 499개를 대상으로 시각·언어 모델의 기반 모델을 바꿨습니다. 경량형 모델을 쓴 기준 모델은 정확도 0.74, F1 점수 0.72를 기록했으며, 원문은 이후 결과를 제시하기 전에 끝납니다.

Amazon 마켓플레이스는 Amazon SageMaker AI에서 다중 모델 시스템을 운영해 상품 페이지의 A+ 콘텐츠를 평가하고 개선 방안을 권고합니다. A+ 콘텐츠는 텍스트, 이미지, 동영상으로 구성됩니다. Amazon은 고품질 A+ 콘텐츠를 보유한 판매 파트너의 매출이 그렇지 않은 파트너보다 8~20% 높다고 밝혔습니다. 이미지 비율이나 단어 수에 엄격한 규칙이 없어 브랜드와 판매자별 콘텐츠 품질은 달라집니다. 시스템은 각 페이지를 하나의 이미지로 렌더링해 시각·언어 모델이 여러 구성 요소의 전체적인 조화를 평가하도록 합니다.

시스템은 시각·언어 모델과 평가 기준을 고정하고, 모델 점수를 전문가 평가로 학습한 CatBoost 분류기에 입력합니다. 평가 기준은 시각적 스토리텔링, 기능 소개, A+ 레이아웃, 전환 최적화 등 4개 항목을 0~10점으로 매기며, 신뢰도와 서술형 근거도 제공합니다. 전자상거래 마케팅 전문가 1명과 평가자 4명이 10개 범주의 상품 페이지 5,478개를 고품질 또는 저품질로 분류했고, 다수결 결과 49.6%가 고품질로 표시됐습니다. 평가자와 합의된 분류 간 일치도는 우연에 따른 일치를 보정하는 코언의 카파 기준 0.845~0.915였습니다.

약 1,100개 페이지로 구성된 20% 검증 세트에서 시각·언어 모델 점수 4개의 평균을 사용한 기준 모델은 고품질 페이지 분류 정확도 0.80, F1 점수 0.84를 기록했습니다. 시각·언어 모델 점수를 사용한 CatBoost는 정확도 0.89, F1 점수 0.90을 냈습니다. 연구진은 광학 문자 인식(OCR)으로 이미지 속 텍스트 밀도, 문자 밀도, 간격, 전반적인 가독성 신호를 추가했습니다. 이 신호는 레이아웃을 측정하므로 문구가 같은 페이지도 다른 점수를 받을 수 있습니다. OCR만 적용한 CatBoost는 정확도 0.82, F1 점수 0.83을 기록했습니다. 시각·언어 모델과 OCR 특성을 각각 4개씩 결합한 모델은 정확도 0.94, F1 점수 0.95를 달성해 기준 모델보다 각각 0.14, 0.11 높았습니다.

연구진은 SHAP을 활용해 각 입력 특성이 모델의 판단에 미치는 영향을 추정했습니다. 검증 세트에서 영향이 큰 특성은 OCR 문자 밀도(평균 절대 SHAP 값 1.1), OCR 전반적 가독성과 시각·언어 모델의 시각적 스토리텔링(각 1.0), A+ 레이아웃(0.8), 기능 소개(0.6), 전환 최적화(0.4) 순이었습니다. 저품질 페이지에는 영향이 가장 부정적인 특성, 상품 범주, 전자상거래 모범 사례, 시각·언어 모델의 근거를 대규모 언어 모델에 전달해 우선순위별 개선안을 만들었습니다. 한 사례에서는 A+ 레이아웃의 기여도 -1.2가 시각적 스토리텔링의 -0.3보다 먼저 제시됐습니다. 판매자가 콘텐츠를 수정한 뒤, 통계적으로 유의한 표본에서 평균 품질 점수는 10점 만점에 1.4점 올랐습니다.

추가 실험에서는 단일 범주의 콘텐츠 프로젝트 499개를 대상으로 시각·언어 모델의 기반 모델을 바꿨습니다. 경량형 모델을 쓴 기준 모델은 정확도 0.74, F1 점수 0.72를 기록했으며, 원문은 이후 결과를 제시하기 전에 끝납니다.