ThinkingBox、データベース検査を報酬に強化学習

MicrosoftとHugging Faceは、ThinkingBox-TrainingでThinkingBox-Bench外のタスクを使い、実行可能なデータベース最終状態の検査を報酬としてQwen3.8-27Bを微調整したと報告しました。GRPOを50ステップ行った後、ベンチマークの10,140回の試行における平均成功率は51.70%から60.78%に上昇しました。20回すべてで成功したタスクは38件（7.50%）から107件（21.10%）に増えました。一方、少なくとも1回解けたタスクは453件（89.35%）から446件（87.97%）に減りました。

ThinkingBox-Benchには507件のタスクがあります。各タスクでは、エージェントに実際のバックエンドとツールを与え、処理後のデータベース記録を検査します。チームはオフラインの方策相対難易度を使って学習タスクを選びました。候補タスクを基盤モデルで試し、ときどき解けるタスクを固定のプールに残し、常に失敗するものと常に成功するものを除外しました。ベンチマーク自体は学習に使っていません。領域、データベース、大半のツールは学習用プールに含まれませんでしたが、両者はThinkingBoxの枠組み、シミュレーションされたユーザー、実行可能な採点、一部のツール、類似したタスク形式を共有していました。

ホテル予約タスクの一例では、基盤モデルは20回中15回、必要な管理者の承認を得ずに予約を変更して返金しました。微調整後は20回すべてで予約と支払いの状態を維持し、期待された記録は19回で一致しました。5つのベンチマーク領域すべてで、pass@1と観測された20回全成功率が上がりました。pass@20はオンライン銀行とコンサルティングで上昇し、小売、旅行、自動車保険では低下しました。pass@20の低下が最大だったのは自動車保険で7.0ポイント、観測された20回全成功率の伸びが最大だったのは小売で24.5ポイントでした。

基準となる実験では、チームは187件のタスクで学習しました。各更新では8回のロールアウトからなるグループを18組生成し、24基のH100 GPUで計144エピソードを実行しました。学習にはトークン平均GRPO、学習率1e-6、重み減衰ゼロを用い、50ステップ実施しました。各エピソードでは新しいバックエンドと分離されたMCPセッションを使い、シミュレーションされたユーザーにはGPT-5 Chatを使いました。報酬の大半は決定論的なデータベース検査から得ました。限定的な採点基準の要件の一部では、GPT-5 Chatを判定役に使うこともできました。バックエンドのタイムアウトはシステムエラーとして扱い、該当グループは失敗扱いで採点せず、補充しました。

507件のタスクを各20回評価する試験の推定コストは、925.80ドルから855.58ドルへ7.6%減りました。成功した試行1回あたりのコストは0.177ドルから0.139ドルへ21.4%下がり、20回すべて成功したタスク1件あたりの推定コストは24.36ドルから8.00ドルへ67.2%下がりました。著者らは、これらの金額を請求書やクラウド料金ではなく、比較用の推論コスト指標だと説明しています。モデル推論費は含みますが、学習費と方策探索費は含みません。著者らによると、微調整モデルの安定して解けるタスク1件あたりのコストは8.00ドルで、GPT-5.4は6.80ドル、GPT-6 Astraは7.45ドル、Claude Opus 5.5は7.80ドルでした。

MicrosoftとHugging Faceは、ThinkingBox-TrainingでThinkingBox-Bench外のタスクを使い、実行可能なデータベース最終状態の検査を報酬としてQwen3.8-27Bを微調整したと報告しました。GRPOを50ステップ行った後、ベンチマークの10,140回の試行における平均成功率は51.70%から60.78%に上昇しました。20回すべてで成功したタスクは38件（7.50%）から107件（21.10%）に増えました。一方、少なくとも1回解けたタスクは453件（89.35%）から446件（87.97%）に減りました。

ThinkingBox-Benchには507件のタスクがあります。各タスクでは、エージェントに実際のバックエンドとツールを与え、処理後のデータベース記録を検査します。チームはオフラインの方策相対難易度を使って学習タスクを選びました。候補タスクを基盤モデルで試し、ときどき解けるタスクを固定のプールに残し、常に失敗するものと常に成功するものを除外しました。ベンチマーク自体は学習に使っていません。領域、データベース、大半のツールは学習用プールに含まれませんでしたが、両者はThinkingBoxの枠組み、シミュレーションされたユーザー、実行可能な採点、一部のツール、類似したタスク形式を共有していました。

ホテル予約タスクの一例では、基盤モデルは20回中15回、必要な管理者の承認を得ずに予約を変更して返金しました。微調整後は20回すべてで予約と支払いの状態を維持し、期待された記録は19回で一致しました。5つのベンチマーク領域すべてで、pass@1と観測された20回全成功率が上がりました。pass@20はオンライン銀行とコンサルティングで上昇し、小売、旅行、自動車保険では低下しました。pass@20の低下が最大だったのは自動車保険で7.0ポイント、観測された20回全成功率の伸びが最大だったのは小売で24.5ポイントでした。

基準となる実験では、チームは187件のタスクで学習しました。各更新では8回のロールアウトからなるグループを18組生成し、24基のH100 GPUで計144エピソードを実行しました。学習にはトークン平均GRPO、学習率1e-6、重み減衰ゼロを用い、50ステップ実施しました。各エピソードでは新しいバックエンドと分離されたMCPセッションを使い、シミュレーションされたユーザーにはGPT-5 Chatを使いました。報酬の大半は決定論的なデータベース検査から得ました。限定的な採点基準の要件の一部では、GPT-5 Chatを判定役に使うこともできました。バックエンドのタイムアウトはシステムエラーとして扱い、該当グループは失敗扱いで採点せず、補充しました。

507件のタスクを各20回評価する試験の推定コストは、925.80ドルから855.58ドルへ7.6%減りました。成功した試行1回あたりのコストは0.177ドルから0.139ドルへ21.4%下がり、20回すべて成功したタスク1件あたりの推定コストは24.36ドルから8.00ドルへ67.2%下がりました。著者らは、これらの金額を請求書やクラウド料金ではなく、比較用の推論コスト指標だと説明しています。モデル推論費は含みますが、学習費と方策探索費は含みません。著者らによると、微調整モデルの安定して解けるタスク1件あたりのコストは8.00ドルで、GPT-5.4は6.80ドル、GPT-6 Astraは7.45ドル、Claude Opus 5.5は7.80ドルでした。