Qwenら、長期事業運営ベンチマーク公開

中国AlibabaのQwenチーム、Taobao & Tmall Group、香港科技大学（HKUST）などの研究者は2026年8月31日、AIエージェントの長期的な事業運営能力を測るベンチマーク「E-Commerce Bench」の論文を公開しました。AIエージェントに初期資金10万人民元を与え、最大4店舗を365日間運営させ、年末の総資産を最大化する課題です。仕入れ交渉、商品調達と価格設定、出荷、返品、在庫補充、資金管理までを評価します。

シミュレーションにはTaobao & Tmallのデータを基にした6,886商品、60カテゴリー、576の仕入れ先が用意されています。年間の販促イベントや自然災害、供給網の混乱によって市場環境が変わり、短いタスクごとに状態がリセットされないため、過去の判断が翌日以降にも残ります。出荷後の売上金は9日間保留され、その後も引き出し操作が必要です。仕入れ費用や保管費用は先に発生するため、在庫を増やしすぎると資金繰りが行き詰まる仕組みです。

比較の一貫性を保つため、顧客の購買や仕入れ先の価格判断には一定のルールを設けました。交渉を処理するプログラムが仕入れ先の提示価格、値下げ、取引の受け入れや拒否を決めます。大規模言語モデル（文章を理解・生成するAI）はその決定を自然な会話として表現し、価格条件そのものは変えません。この仕組みにより、相手役のモデルの応答で条件が大きく変わることや、会話で仕入れ価格の下限を回避する影響を抑えています。

論文掲載時の評価では18モデルをそれぞれ5回試行しました。年末の平均総資産はGPT-5.6 Solが最多で、初期資金10万人民元を143万1,425人民元、約14.3倍に増やしました。オープンウェイトモデル（重みを公開し利用できるモデル）ではQwen3.8-Max-Previewが41万6,252人民元で首位でした。

ただし、総資産トップのGPT-5.6 Solは詐欺回避で18モデル中16位となり、ツール呼び出し1回当たりの利益で測る運営効率ではFable5が上回りました。評価は総資産のほか、交渉の質、詐欺回避、資金繰りと支払い能力、運営効率、業務遂行、長期的な経験の活用の計7軸で、すべての軸で他モデルを上回るモデルはありませんでした。90回の試行中10回は破産に至り、GPT-5.5では仕入れを増やしすぎて売上金が使えるようになる前の1月中に資金が尽きた試行もありました。研究コードとデータはApache 2.0ライセンスで公開されています。公開後の追加評価を含む公式プロジェクトページには21モデルの結果が掲載されていますが、記事が伝える論文掲載時の実験は18モデルを対象としています。

中国AlibabaのQwenチーム、Taobao & Tmall Group、香港科技大学（HKUST）などの研究者は2026年8月31日、AIエージェントの長期的な事業運営能力を測るベンチマーク「E-Commerce Bench」の論文を公開しました。AIエージェントに初期資金10万人民元を与え、最大4店舗を365日間運営させ、年末の総資産を最大化する課題です。仕入れ交渉、商品調達と価格設定、出荷、返品、在庫補充、資金管理までを評価します。

シミュレーションにはTaobao & Tmallのデータを基にした6,886商品、60カテゴリー、576の仕入れ先が用意されています。年間の販促イベントや自然災害、供給網の混乱によって市場環境が変わり、短いタスクごとに状態がリセットされないため、過去の判断が翌日以降にも残ります。出荷後の売上金は9日間保留され、その後も引き出し操作が必要です。仕入れ費用や保管費用は先に発生するため、在庫を増やしすぎると資金繰りが行き詰まる仕組みです。

比較の一貫性を保つため、顧客の購買や仕入れ先の価格判断には一定のルールを設けました。交渉を処理するプログラムが仕入れ先の提示価格、値下げ、取引の受け入れや拒否を決めます。大規模言語モデル（文章を理解・生成するAI）はその決定を自然な会話として表現し、価格条件そのものは変えません。この仕組みにより、相手役のモデルの応答で条件が大きく変わることや、会話で仕入れ価格の下限を回避する影響を抑えています。

論文掲載時の評価では18モデルをそれぞれ5回試行しました。年末の平均総資産はGPT-5.6 Solが最多で、初期資金10万人民元を143万1,425人民元、約14.3倍に増やしました。オープンウェイトモデル（重みを公開し利用できるモデル）ではQwen3.8-Max-Previewが41万6,252人民元で首位でした。

ただし、総資産トップのGPT-5.6 Solは詐欺回避で18モデル中16位となり、ツール呼び出し1回当たりの利益で測る運営効率ではFable5が上回りました。評価は総資産のほか、交渉の質、詐欺回避、資金繰りと支払い能力、運営効率、業務遂行、長期的な経験の活用の計7軸で、すべての軸で他モデルを上回るモデルはありませんでした。90回の試行中10回は破産に至り、GPT-5.5では仕入れを増やしすぎて売上金が使えるようになる前の1月中に資金が尽きた試行もありました。研究コードとデータはApache 2.0ライセンスで公開されています。公開後の追加評価を含む公式プロジェクトページには21モデルの結果が掲載されていますが、記事が伝える論文掲載時の実験は18モデルを対象としています。