予測でAIエージェントのソフトウェア改良を支援
- •研究チームが、AIエージェントのコードや指示の変更案を試験前に評価する予測ソフトウェアを開発
- •プログラミング課題166件で、選抜エージェントの成功率中央値は約30%、HyperAgentsは22%、開始時は16%
- •未見の採点課題100件で、予測経験を移したエージェントは専門家の採点と中央値55%の精度で一致
バージニア大学、マイクロソフト・リサーチ、清華大学の研究者は、AIエージェントがコードや指示の変更案を実行前に評価できる予測ソフトウェアを開発しました。arXivに掲載された論文で説明された手法は、プログラミング、論文採択の予測、シミュレーション上のロボット報酬設計、数学の採点で評価されました。初期結果は、予測によってエージェントがより効率よく改善できる可能性を示しています。
この手法は、課題を実行するエージェントと、両者が使うコードや指示を変更するエージェントを組み合わせたHyperAgentsを拡張したものです。以前の版と結果は記録庫に保存されます。研究者は、変更案と変更対象のエージェント、過去の結果を調べる改善動態モデル（IDM）を追加しました。モデルは課題ごとの結果を予測し、誤答と未完了を区別します。未完了には別の修正が必要な場合があるためです。偏りを調整した予測が、現行エージェントの実測成績を下回ると示した場合、変更担当のエージェントに予測結果を伝え、修正の機会をもう一度与えます。最終予測にかかわらず、変更後のエージェントは試験されます。ソフトウェアと指示は変更できますが、基盤となる言語モデルの重みは固定されています。
例の一つでは、指示文を引用符の外に置く変更によってプログラムが壊れました。変更担当のエージェントは問題に気づいたものの、修正前にツール呼び出しの上限に達しました。予測側が未完了になる課題を予測したため、もう一度修正できました。引用符を直して構文を確認した後、エージェントは11件の課題を完了しました。
各実験条件で、研究チームは40回の改善ラウンドを5回ずつ実施しました。改善や選抜に使わなかったプログラミング課題166件では、選抜エージェントの成功率中央値は約30%で、HyperAgentsは22%、共通の開始エージェントは16%でした。成功とは、課題ごとのテストに合格するソフトウェア修正パッチを作ることです。言語モデルのトークン予算をそろえた場合も、予測手法の優位性は保たれました。計算には変更、予測、予測更新、課題評価のトークンを含めましたが、計算コスト全体は含めていません。
予測ソフトウェア自体は5ラウンドごとに更新案を出し、その採用前に予測と後の結果を照合します。経験の転用を調べるため、研究者は論文採択予測とシミュレーション上のロボット報酬設計を共同で学習した予測器を、数学の採点に使いました。課題を解くプログラムと変更プログラムは新たに用意しました。未見の採点課題100件で、選抜エージェントが専門家の採点と一致した精度の中央値は55%でした。新しい予測器を使ったエージェントは51%、HyperAgentsは47%でした。この結果は、エージェントが人間の査読者、採点者、プログラマーに取って代われることを示すものではありません。予測が有用なソフトウェア変更の特定や、別の課題への経験の転用に役立つ可能性を示しています。