Δτ-Bench、ツール環境の変化へのエージェント適応を測定
HuggingFace2026年10月28日 (水)
- •ユニバーシティ・カレッジ・ロンドンの研究者が、ツール環境の変化へのAIエージェントの適応を測るΔτ-Benchを公開
- •42領域、6段階の環境状態にまたがる1,588件のタスクを収録し、最高成功率は42.3％
- •ツールや作業手順が変わる中、Stewardは技能維持の負担を抑えながら成功率を高く保つと実験で確認
ユニバーシティ・カレッジ・ロンドンの研究者は、利用可能なツールが変化したときにAIエージェントが適応できるかを試す実行可能なベンチマーク、Δτ-Benchを発表しました。論文は10月25日に公開され、Shuofei Qiaoが10月27日に提出しました。サービスが個別に進化するツール環境をモデル化し、慣れたツールの消失や置き換え、より効率的な代替手段の登場、ノイズを含む文書などを想定しています。利用できる機能が移り変わる中で、エージェントがツールの効果的な使い方を見つけ、手順に関する知識を更新できるかを評価します。
Δτ-Benchには、42領域と6段階の連続した環境状態にわたる、検証済みの複数ターン課題が1,588件含まれます。各状態は、機能を保つ変換によって生成されます。評価されたモデルまたはハーネスの最高タスク成功率は42.3％でした。既存の技能学習手法による向上は、環境の進化に伴う適応の改善に一貫して結びつかなかったと研究者は報告しています。
研究者はさらに、タスクの実行中に技能を段階的に維持し、必要なツールを動的に提供する環境管理システム「Steward」を提案しました。実験では、環境が変化してもStewardは技能維持の負担を抑えながら高いタスク成功率を保ち、作業手順が崩れた後の復旧や、より効率的な代替手段の採用も改善しました。