Qwen 연구진, 장기 사업 운영 벤치마크 공개

중국 Alibaba의 Qwen 팀과 Taobao & Tmall Group, 홍콩과기대(HKUST) 연구진은 2026년 8월 31일 AI 에이전트의 장기 사업 운영 능력을 측정하는 벤치마크 ‘E-Commerce Bench’ 논문을 공개했습니다. 에이전트에 초기 자금 10만 위안을 주고 최대 4개 매장을 365일간 운영하게 해 연말 총자산을 최대화하도록 했습니다. 평가 항목은 매입 협상, 상품 조달과 가격 책정, 배송, 반품, 재고 보충, 자금 관리입니다.

시뮬레이션에는 Taobao & Tmall 데이터를 바탕으로 한 상품 6,886개와 카테고리 60개, 공급업체 576곳이 마련됐습니다. 연중 판촉 행사와 자연재해, 공급망 혼란에 따라 시장 환경이 바뀌며, 짧은 과제마다 상태가 초기화되지 않아 이전 판단이 다음 날 이후에도 영향을 줍니다. 배송 후 판매 대금은 9일간 보류되고, 이후에도 직접 인출해야 합니다. 매입비와 보관비는 먼저 지출되므로 재고를 지나치게 늘리면 자금 흐름이 막힙니다.

비교의 일관성을 위해 고객의 구매 행동과 공급업체의 가격 판단에는 일정한 규칙을 적용했습니다. 협상을 처리하는 프로그램이 공급업체의 제시 가격과 할인, 거래 수락·거부를 결정합니다. 대규모 언어 모델은 그 결정을 자연스러운 대화로 표현하지만 가격 조건 자체는 바꾸지 않습니다. 연구진은 이 방식으로 상대 모델의 응답에 따라 조건이 크게 바뀌거나 대화로 매입 가격의 하한을 우회하는 영향을 줄였습니다.

논문 게재 당시 평가에서는 18개 모델을 각각 5회 시험했습니다. 연말 평균 총자산은 GPT-5.6 Sol이 가장 높았으며, 초기 자금 10만 위안을 143만 1,425위안으로 늘려 약 14.3배를 기록했습니다. 오픈 웨이트 모델(모델 가중치를 공개해 사용할 수 있는 모델) 가운데는 Qwen3.8-Max-Preview가 41만 6,252위안으로 1위였습니다.

총자산 1위인 GPT-5.6 Sol은 사기 회피에서는 18개 모델 중 16위였고, 도구 호출 1회당 이익으로 측정한 운영 효율에서는 Fable5가 앞섰습니다. 평가는 총자산 외에도 협상 품질, 사기 회피, 자금 흐름과 지급 능력, 운영 효율, 업무 수행, 장기 경험 활용까지 7개 축으로 이뤄졌으며, 모든 축에서 다른 모델을 앞선 모델은 없었습니다. 90회 시험 가운데 10회는 파산으로 이어졌습니다. GPT-5.5의 경우 매입을 지나치게 늘려 판매 대금을 쓸 수 있게 되기 전인 1월에 자금이 바닥난 시험도 있었습니다. 연구 코드와 데이터는 Apache 2.0 라이선스로 공개됐습니다. 공개 후 추가 평가를 포함한 공식 프로젝트 페이지에는 21개 모델 결과가 실렸지만, 논문 게재 당시 실험 대상은 18개 모델이었습니다.

중국 Alibaba의 Qwen 팀과 Taobao & Tmall Group, 홍콩과기대(HKUST) 연구진은 2026년 8월 31일 AI 에이전트의 장기 사업 운영 능력을 측정하는 벤치마크 ‘E-Commerce Bench’ 논문을 공개했습니다. 에이전트에 초기 자금 10만 위안을 주고 최대 4개 매장을 365일간 운영하게 해 연말 총자산을 최대화하도록 했습니다. 평가 항목은 매입 협상, 상품 조달과 가격 책정, 배송, 반품, 재고 보충, 자금 관리입니다.

시뮬레이션에는 Taobao & Tmall 데이터를 바탕으로 한 상품 6,886개와 카테고리 60개, 공급업체 576곳이 마련됐습니다. 연중 판촉 행사와 자연재해, 공급망 혼란에 따라 시장 환경이 바뀌며, 짧은 과제마다 상태가 초기화되지 않아 이전 판단이 다음 날 이후에도 영향을 줍니다. 배송 후 판매 대금은 9일간 보류되고, 이후에도 직접 인출해야 합니다. 매입비와 보관비는 먼저 지출되므로 재고를 지나치게 늘리면 자금 흐름이 막힙니다.

비교의 일관성을 위해 고객의 구매 행동과 공급업체의 가격 판단에는 일정한 규칙을 적용했습니다. 협상을 처리하는 프로그램이 공급업체의 제시 가격과 할인, 거래 수락·거부를 결정합니다. 대규모 언어 모델은 그 결정을 자연스러운 대화로 표현하지만 가격 조건 자체는 바꾸지 않습니다. 연구진은 이 방식으로 상대 모델의 응답에 따라 조건이 크게 바뀌거나 대화로 매입 가격의 하한을 우회하는 영향을 줄였습니다.

논문 게재 당시 평가에서는 18개 모델을 각각 5회 시험했습니다. 연말 평균 총자산은 GPT-5.6 Sol이 가장 높았으며, 초기 자금 10만 위안을 143만 1,425위안으로 늘려 약 14.3배를 기록했습니다. 오픈 웨이트 모델(모델 가중치를 공개해 사용할 수 있는 모델) 가운데는 Qwen3.8-Max-Preview가 41만 6,252위안으로 1위였습니다.

총자산 1위인 GPT-5.6 Sol은 사기 회피에서는 18개 모델 중 16위였고, 도구 호출 1회당 이익으로 측정한 운영 효율에서는 Fable5가 앞섰습니다. 평가는 총자산 외에도 협상 품질, 사기 회피, 자금 흐름과 지급 능력, 운영 효율, 업무 수행, 장기 경험 활용까지 7개 축으로 이뤄졌으며, 모든 축에서 다른 모델을 앞선 모델은 없었습니다. 90회 시험 가운데 10회는 파산으로 이어졌습니다. GPT-5.5의 경우 매입을 지나치게 늘려 판매 대금을 쓸 수 있게 되기 전인 1월에 자금이 바닥난 시험도 있었습니다. 연구 코드와 데이터는 Apache 2.0 라이선스로 공개됐습니다. 공개 후 추가 평가를 포함한 공식 프로젝트 페이지에는 21개 모델 결과가 실렸지만, 논문 게재 당시 실험 대상은 18개 모델이었습니다.