イリノイ大学アーバナ・シャンペーン校の研究者は、AIエージェントのツール選択の一部を小型の判断モデルに任せるシステム「JevAgentHarness」を発表しました。10月15日公開の論文では、ベンチマークと、エージェントが誤りを起こした後の状態を使って訓練した40億パラメーターのモデルを示しています。長時間にわたるタスクのコストと遅延を抑えながら、成功率を維持することを目指しています。

研究チームは、公開ベンチマークとDecisionGym環境を用い、判断モデルを単独の質問への回答とエージェント操作の両方で試すAgentDecisionBenchを作りました。単独の質問で最も正確だったモデルでも、エージェント課題の完了率は69.5%でした。信頼度閾値を調整せずにツール選択を委ねると、課題の成功率は19.0ポイント下がりました。JevAgentHarnessはエージェント自身の行動履歴から選択ごとの閾値を調整し、それを下回る判断は大規模言語モデルに任せます。

研究者は、エージェントが誤りを起こした後の状態を使い、Jevの回答を正解ラベルとして、公開モデルAgentDecision-4Bを訓練しました。訓練データと異なる課題では、AgentDecision-4Bを使うエージェントの完了率は91.5%で、Jevを使う場合の82.0%を上回りました。訓練データに似た課題では、この方法で訓練した40億パラメーターのモデルにより、タスク成功率を3ポイント以上落とさず、コストを81.1～89.0%削減し、最大2.5倍速く実行できました。著者らはモデル、データ、ハーネスを公開する予定だと述べています。

イリノイ大学アーバナ・シャンペーン校の研究者は、AIエージェントのツール選択の一部を小型の判断モデルに任せるシステム「JevAgentHarness」を発表しました。10月15日公開の論文では、ベンチマークと、エージェントが誤りを起こした後の状態を使って訓練した40億パラメーターのモデルを示しています。長時間にわたるタスクのコストと遅延を抑えながら、成功率を維持することを目指しています。

研究チームは、公開ベンチマークとDecisionGym環境を用い、判断モデルを単独の質問への回答とエージェント操作の両方で試すAgentDecisionBenchを作りました。単独の質問で最も正確だったモデルでも、エージェント課題の完了率は69.5%でした。信頼度閾値を調整せずにツール選択を委ねると、課題の成功率は19.0ポイント下がりました。JevAgentHarnessはエージェント自身の行動履歴から選択ごとの閾値を調整し、それを下回る判断は大規模言語モデルに任せます。

研究者は、エージェントが誤りを起こした後の状態を使い、Jevの回答を正解ラベルとして、公開モデルAgentDecision-4Bを訓練しました。訓練データと異なる課題では、AgentDecision-4Bを使うエージェントの完了率は91.5%で、Jevを使う場合の82.0%を上回りました。訓練データに似た課題では、この方法で訓練した40億パラメーターのモデルにより、タスク成功率を3ポイント以上落とさず、コストを81.1～89.0%削減し、最大2.5倍速く実行できました。著者らはモデル、データ、ハーネスを公開する予定だと述べています。