研究者ら、AIの1年間のEC運営を検証

中国AlibabaのQwenチームや香港科技大学（HKUST）などの研究者は、AIモデルに1年間のネットショップ運営を任せて長期的な事業運営能力を測るベンチマーク「E-Commerce Bench」を開発しました。論文「E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation」で、商用・オープンウェイトを含む18種類のモデルを評価しました。

実験では、各モデルに10万元（約235万円）を渡し、365日後の総資産を比較しました。モデルは最大4店舗を運営し、6,886商品と576社のサプライヤーがいる市場で、市場調査、価格交渉、仕入れ、値付け、発送、返品処理、資金管理などを18種類のツールで実行しました。市場モデルは淘宝・天猫の実データを基にし、交渉エンジンには数式ルールを使って再現性を確保しました。

市場ではセールや自然災害で需要が変動し、サプライヤーの約4分の1は高値販売、注文数のごまかし、返品率が高くなる粗悪品の発送などを行う詐欺業者に設定されました。仕入れ代と運営費は銀行口座からすぐ引き落とされる一方、売上金は発送後9日間エスクロー口座に留保されます。計画的に銀行口座へ資金を移さず、残高がマイナスの状態が10日連続すると破産する設計です。古い会話履歴は一定量を超えると消去されるため、モデルは最大20件のメモリで取引情報を維持する必要がありました。

最終資産の首位はGPT-5.6 Solで、初期資金を平均約14.3倍の約143万元に増やしましたが、詐欺業者への支出割合は18モデル中16位でした。2位のFable5は約8倍に増やし、GPT-5.6 Solの半分以下のツール呼び出しで利益を上げ、1回の操作当たりの利益効率で首位でした。Claude Opus 4.7は値引き交渉力と詐欺回避率で首位でしたが、取引規模を拡大できず総資産は8位でした。

オープンウェイトモデルでは、全体5位のAlibaba「Qwen3.8-Max-Preview」が約4.2倍で最高成績を収めました。同モデルは長期的な学習能力でも18モデル中首位となり、再仕入れ時に過去の最安値を基準にさらに値引きを引き出しました。全90回の試行（各モデル5回）のうち10回は途中で破産しました。GPT-5.5、Claude Opus 4.6、Gemini 3.1 Proは各5回中2回、Qwen3.5-Plusは5回中4回破産しました。

中国AlibabaのQwenチームや香港科技大学（HKUST）などの研究者は、AIモデルに1年間のネットショップ運営を任せて長期的な事業運営能力を測るベンチマーク「E-Commerce Bench」を開発しました。論文「E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation」で、商用・オープンウェイトを含む18種類のモデルを評価しました。

実験では、各モデルに10万元（約235万円）を渡し、365日後の総資産を比較しました。モデルは最大4店舗を運営し、6,886商品と576社のサプライヤーがいる市場で、市場調査、価格交渉、仕入れ、値付け、発送、返品処理、資金管理などを18種類のツールで実行しました。市場モデルは淘宝・天猫の実データを基にし、交渉エンジンには数式ルールを使って再現性を確保しました。

市場ではセールや自然災害で需要が変動し、サプライヤーの約4分の1は高値販売、注文数のごまかし、返品率が高くなる粗悪品の発送などを行う詐欺業者に設定されました。仕入れ代と運営費は銀行口座からすぐ引き落とされる一方、売上金は発送後9日間エスクロー口座に留保されます。計画的に銀行口座へ資金を移さず、残高がマイナスの状態が10日連続すると破産する設計です。古い会話履歴は一定量を超えると消去されるため、モデルは最大20件のメモリで取引情報を維持する必要がありました。

最終資産の首位はGPT-5.6 Solで、初期資金を平均約14.3倍の約143万元に増やしましたが、詐欺業者への支出割合は18モデル中16位でした。2位のFable5は約8倍に増やし、GPT-5.6 Solの半分以下のツール呼び出しで利益を上げ、1回の操作当たりの利益効率で首位でした。Claude Opus 4.7は値引き交渉力と詐欺回避率で首位でしたが、取引規模を拡大できず総資産は8位でした。

オープンウェイトモデルでは、全体5位のAlibaba「Qwen3.8-Max-Preview」が約4.2倍で最高成績を収めました。同モデルは長期的な学習能力でも18モデル中首位となり、再仕入れ時に過去の最安値を基準にさらに値引きを引き出しました。全90回の試行（各モデル5回）のうち10回は途中で破産しました。GPT-5.5、Claude Opus 4.6、Gemini 3.1 Proは各5回中2回、Qwen3.5-Plusは5回中4回破産しました。