MS・UCバークレー、コーディングエージェントの費用削減ツール公開
- •マイクロソフトとUCバークレー、費用を最大30.9％削減するプラグインを公開
- •SWE-benchの6リポジトリ・277タスクで評価し、5つの組み合わせのうち4つでPass@1が上昇
- •Web-Benchの費用も16.0～21.2％減少、実際の長期開発環境での検証は今後の課題
マイクロソフトとUCバークレーの研究チームは、AIコーディングエージェントの作業成功率を維持しながら、モデル利用費を最大30.9％削減するオープンソースプラグイン「TokenEconomizer」を公開しました。論文の事前公開サイトarXivで公開され、Claude Code、Codex、GitHub Copilot CLI、Piなどと連携できます。モデルの重みや内部構造を変更せず、外部で動作します。
研究チームは、SWE-benchの6つのコードリポジトリにある277タスクを使い、エージェントとモデルの5つの組み合わせを評価しました。従来の実行方式と比べ、費用は18.4～30.9％減少しました。作業成功率を示すPass@1は5つの組み合わせのうち4つで上昇し、残る1つでは1ポイント低下しました。費用には入力トークンのキャッシュ再利用による料金差と、追加のモデル呼び出し費用も含まれます。
同じリポジトリで作業を繰り返すほど、削減効果は大きくなりました。初期には過去の作業記録が少なく、費用が増える場合もありましたが、評価したすべてのリポジトリで6回目の作業から累積費用が従来方式を下回りました。研究チームは、エージェントが確認済みの情報を再び探したり、使わないツールの説明まで読み込んだりすることを、費用の無駄につながる要因に挙げています。Claude Codeを使った実験では、5件以上の作業を行った後、ツール呼び出しの約30％が以前の行動の繰り返しでした。また、毎回読み込まれた23個のツールのうち16個は実際には使われませんでした。
失敗した実行10件は分析対象タスクの17％でしたが、費用全体の32％を占めました。同じエラーを直すために修正とテストを繰り返す間、トークンを使い続けたためです。TokenEconomizerは3つの機能でこうした反復を減らします。「マイクロスキル」は過去の作業で得た情報を短い指示として保存し、次の作業に活用します。「ツール整理」は未使用のツールを次のセッションの一覧から外し、ファイルの読み書きなどの主要ツールを残したうえで、定期的に一覧全体を確認します。「失敗ループ介入」は同じエラーが繰り返されたり、進展がなかったりすると別の解決策を促し、失敗が続く場合は中断を勧めます。プラグインが作業を勝手に強制終了することはありません。
コマンド出力やコード構造を定型的に圧縮する従来のトークン削減ツールと異なり、TokenEconomizerは過去の作業結果をもとに、リポジトリごとに最適化方法を調整します。研究チームはWeb開発ベンチマークのWeb-Benchでも費用が16.0～21.2％減少したと報告しました。削減幅はタスクの種類や実行環境によって異なりました。プラグインはGitHubでオープンソース公開され、専用GPUなしでコーディングエージェントに適用できます。追加のモデル呼び出しが必要なマイクロスキルは初期設定で無効になっているため、実際の削減効果は有効にする機能や作業環境によって変わる可能性があります。研究チームは、実際の開発者による長期間の作業記録ではなく、同じリポジトリで続けてコードを修正するタスクを評価した点を限界として挙げ、実際の開発環境での効果には追加検証が必要だと説明しました。