연구진, AI의 1년 온라인 쇼핑몰 운영 능력 검증

중국 Alibaba의 Qwen팀과 홍콩과기대(HKUST) 등 연구진은 AI 모델에 1년간 온라인 쇼핑몰 운영을 맡겨 장기 사업 운영 능력을 측정하는 벤치마크 ‘E-Commerce Bench’를 개발했습니다. 논문 ‘E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation’에서 상용 모델과 오픈 웨이트 모델을 포함한 18개 모델을 평가했습니다.

실험에서 연구진은 각 모델에 10만 위안을 지급하고 365일 뒤 총자산을 비교했습니다. 모델은 최대 4개 매장을 운영하며 6,886개 상품과 576개 공급업체가 있는 시장에서 시장 조사, 가격 협상, 상품 조달과 가격 책정, 배송, 반품 처리, 자금 관리 등을 18가지 도구로 수행했습니다. 시장 모델은 타오바오와 티몰의 실제 데이터를 바탕으로 했으며, 협상 엔진에는 수식 규칙을 적용해 재현성을 확보했습니다.

시장 수요는 할인 행사와 자연재해에 따라 변했고, 공급업체 약 4분의 1은 비싸게 팔거나 주문 수를 속이고 반품률을 높이는 불량품을 보내는 사기 업체로 설정됐습니다. 조달비와 운영비는 은행 계좌에서 즉시 빠져나갔지만, 매출은 배송 뒤 9일 동안 에스크로 계좌에 보관됐습니다. 모델이 계획적으로 은행 계좌에 자금을 옮기지 않아 잔액이 10일 연속 마이너스가 되면 파산하는 구조였습니다. 오래된 대화 기록은 일정량을 넘으면 삭제돼, 모델은 최대 20개의 메모리로 거래 정보를 유지해야 했습니다.

최종 자산 1위는 GPT-5.6 Sol로, 초기 자금을 평균 약 14.3배인 약 143만 위안으로 늘렸습니다. 다만 사기 업체에 지출한 비율은 18개 모델 가운데 16위였습니다. 2위 Fable5는 자산을 약 8배로 늘렸고, GPT-5.6 Sol의 절반 미만으로 도구를 호출하면서 수익을 내 작업 1회당 이익 효율 1위를 기록했습니다. Claude Opus 4.7은 할인 협상력과 사기 회피율에서 1위였지만 거래 규모를 키우지 못해 총자산은 8위였습니다.

오픈 웨이트 모델 가운데서는 전체 5위인 Alibaba의 ‘Qwen3.8-Max-Preview’가 약 4.2배로 가장 높은 성적을 거뒀습니다. 이 모델은 장기 학습 능력에서도 18개 모델 중 1위였으며, 재주문 때 과거 최저가를 기준으로 추가 할인을 이끌어냈습니다. 모델별 5회씩 진행한 총 90회 실험에서 10회는 도중에 파산했습니다. GPT-5.5, Claude Opus 4.6, Gemini 3.1 Pro는 각각 5회 중 2회, Qwen3.5-Plus는 5회 중 4회 파산했습니다.

중국 Alibaba의 Qwen팀과 홍콩과기대(HKUST) 등 연구진은 AI 모델에 1년간 온라인 쇼핑몰 운영을 맡겨 장기 사업 운영 능력을 측정하는 벤치마크 ‘E-Commerce Bench’를 개발했습니다. 논문 ‘E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation’에서 상용 모델과 오픈 웨이트 모델을 포함한 18개 모델을 평가했습니다.

실험에서 연구진은 각 모델에 10만 위안을 지급하고 365일 뒤 총자산을 비교했습니다. 모델은 최대 4개 매장을 운영하며 6,886개 상품과 576개 공급업체가 있는 시장에서 시장 조사, 가격 협상, 상품 조달과 가격 책정, 배송, 반품 처리, 자금 관리 등을 18가지 도구로 수행했습니다. 시장 모델은 타오바오와 티몰의 실제 데이터를 바탕으로 했으며, 협상 엔진에는 수식 규칙을 적용해 재현성을 확보했습니다.

시장 수요는 할인 행사와 자연재해에 따라 변했고, 공급업체 약 4분의 1은 비싸게 팔거나 주문 수를 속이고 반품률을 높이는 불량품을 보내는 사기 업체로 설정됐습니다. 조달비와 운영비는 은행 계좌에서 즉시 빠져나갔지만, 매출은 배송 뒤 9일 동안 에스크로 계좌에 보관됐습니다. 모델이 계획적으로 은행 계좌에 자금을 옮기지 않아 잔액이 10일 연속 마이너스가 되면 파산하는 구조였습니다. 오래된 대화 기록은 일정량을 넘으면 삭제돼, 모델은 최대 20개의 메모리로 거래 정보를 유지해야 했습니다.

최종 자산 1위는 GPT-5.6 Sol로, 초기 자금을 평균 약 14.3배인 약 143만 위안으로 늘렸습니다. 다만 사기 업체에 지출한 비율은 18개 모델 가운데 16위였습니다. 2위 Fable5는 자산을 약 8배로 늘렸고, GPT-5.6 Sol의 절반 미만으로 도구를 호출하면서 수익을 내 작업 1회당 이익 효율 1위를 기록했습니다. Claude Opus 4.7은 할인 협상력과 사기 회피율에서 1위였지만 거래 규모를 키우지 못해 총자산은 8위였습니다.

오픈 웨이트 모델 가운데서는 전체 5위인 Alibaba의 ‘Qwen3.8-Max-Preview’가 약 4.2배로 가장 높은 성적을 거뒀습니다. 이 모델은 장기 학습 능력에서도 18개 모델 중 1위였으며, 재주문 때 과거 최저가를 기준으로 추가 할인을 이끌어냈습니다. 모델별 5회씩 진행한 총 90회 실험에서 10회는 도중에 파산했습니다. GPT-5.5, Claude Opus 4.6, Gemini 3.1 Pro는 각각 5회 중 2회, Qwen3.5-Plus는 5회 중 4회 파산했습니다.