Google、Agents CLIの評価手順を公開

Google Cloudのプロダクトマネージャー、ピエール・パオロ・イッポリト(Pier Paolo Ippolito)とソリューションスペシャリストのエリア・セッキ(Elia Secchi)は、2026年10月28日、Agents CLIの評価コマンドでエージェントの動作をテストし、変更を比較し、回帰を追跡する手順を公開しました。解説では、Agents CLI v1.8.0のLangChainテンプレートと、挨拶、サンフランシスコとローマの天気、2024年のワールドシリーズに関する話題外の質問を含む4ケースのデータセットを使います。独自の評価指標ではgemini-3.8-flashを判定役にし、正確さ、関連性、明瞭さを1〜5点で採点します。

基準評価は有効な4ケースの平均が4.0000、標準偏差が1.4142でした。回帰の例では、天気エージェントの役立つシステムプロンプトをシェフの人物設定に置き換えます。平均は2.7500に、標準偏差は0.9574に下がり、1〜5点の尺度で1.25点低下しました。3ケースで点数が下がり、1ケースは同じでした。挨拶は5.0から4.0、サンフランシスコの天気は4.0から2.0、ローマの天気は2.0のまま、話題外の質問は5.0から3.0になりました。サンフランシスコのケースでは、エージェントは登録済みの天気ツールを使わず、気象状況を作り出しました。

解説によると、eval compareはケースごとの結果と概要スコアを並べて示し、変更が口調、ツールの使い方、回答範囲のどこに影響したかを見つけやすくします。別のモデル切り替え実験では、gemini-3.8-flashをgemini-2.5-flashに替えると、平均は4.00から2.75に下がりました。挨拶は5.0、ローマの天気は2.0のままです。サンフランシスコの天気は4.0から3.0に、話題外の質問は5.0から1.0に下がりました。後者は、イベントがまだ起きていないという理由でモデルが回答を拒み、判定役が厳しく採点した結果だと説明しています。平均だけを見ると、このモデル切り替えはシェフ役プロンプトによる回帰と同程度に見えますが、ケース別の結果は異なります。モデル比較では各モデルに合わせて調整したプロンプトを考慮し、判定モデルは一定に保つべきだとしています。判定モデルの変更は別の実験です。

Agents CLI自体にはスケジューラーがありませんが、評価コマンドはcronやCloud Scheduler経由で実行でき、結果を永続ストレージに保存できます。解説は、モデル更新、ツールのデータ、依存関係の変化による動作の変化を捉えるため、安定した回帰テスト用データセットを使った夜間チェックを勧めています。定期実行用のデータセットは通常数十〜数百ケースで、開発中の高速な確認で使う数ケースより大規模です。各実行の平均を基準値と比べ、低下幅がしきい値を超えたら通知するラッパーを作れます。例では既定値を0.05とし、しきい値を0.1に設定して、平均が4.000から2.750に下がる回帰を検出しています。

ADKプロジェクトでは、eval optimizeがGEPAフレームワークを使い、プロンプトの候補を生成して採点し、より高得点の候補を残して人による確認用に順位付けします。この機能はLangChain拡張では利用できません。最適化ではツール、エージェントの構成、モデルを固定し、プロンプトを変更します。ただし、指標の表現に過度に合わせたプロンプトが高得点になる場合があるため、候補を採用する前に人が確認する必要があると著者らは注意を促しています。

Google Cloudのプロダクトマネージャー、ピエール・パオロ・イッポリト(Pier Paolo Ippolito)とソリューションスペシャリストのエリア・セッキ(Elia Secchi)は、2026年10月28日、Agents CLIの評価コマンドでエージェントの動作をテストし、変更を比較し、回帰を追跡する手順を公開しました。解説では、Agents CLI v1.8.0のLangChainテンプレートと、挨拶、サンフランシスコとローマの天気、2024年のワールドシリーズに関する話題外の質問を含む4ケースのデータセットを使います。独自の評価指標ではgemini-3.8-flashを判定役にし、正確さ、関連性、明瞭さを1〜5点で採点します。

基準評価は有効な4ケースの平均が4.0000、標準偏差が1.4142でした。回帰の例では、天気エージェントの役立つシステムプロンプトをシェフの人物設定に置き換えます。平均は2.7500に、標準偏差は0.9574に下がり、1〜5点の尺度で1.25点低下しました。3ケースで点数が下がり、1ケースは同じでした。挨拶は5.0から4.0、サンフランシスコの天気は4.0から2.0、ローマの天気は2.0のまま、話題外の質問は5.0から3.0になりました。サンフランシスコのケースでは、エージェントは登録済みの天気ツールを使わず、気象状況を作り出しました。

解説によると、eval compareはケースごとの結果と概要スコアを並べて示し、変更が口調、ツールの使い方、回答範囲のどこに影響したかを見つけやすくします。別のモデル切り替え実験では、gemini-3.8-flashをgemini-2.5-flashに替えると、平均は4.00から2.75に下がりました。挨拶は5.0、ローマの天気は2.0のままです。サンフランシスコの天気は4.0から3.0に、話題外の質問は5.0から1.0に下がりました。後者は、イベントがまだ起きていないという理由でモデルが回答を拒み、判定役が厳しく採点した結果だと説明しています。平均だけを見ると、このモデル切り替えはシェフ役プロンプトによる回帰と同程度に見えますが、ケース別の結果は異なります。モデル比較では各モデルに合わせて調整したプロンプトを考慮し、判定モデルは一定に保つべきだとしています。判定モデルの変更は別の実験です。

Agents CLI自体にはスケジューラーがありませんが、評価コマンドはcronやCloud Scheduler経由で実行でき、結果を永続ストレージに保存できます。解説は、モデル更新、ツールのデータ、依存関係の変化による動作の変化を捉えるため、安定した回帰テスト用データセットを使った夜間チェックを勧めています。定期実行用のデータセットは通常数十〜数百ケースで、開発中の高速な確認で使う数ケースより大規模です。各実行の平均を基準値と比べ、低下幅がしきい値を超えたら通知するラッパーを作れます。例では既定値を0.05とし、しきい値を0.1に設定して、平均が4.000から2.750に下がる回帰を検出しています。

ADKプロジェクトでは、eval optimizeがGEPAフレームワークを使い、プロンプトの候補を生成して採点し、より高得点の候補を残して人による確認用に順位付けします。この機能はLangChain拡張では利用できません。最適化ではツール、エージェントの構成、モデルを固定し、プロンプトを変更します。ただし、指標の表現に過度に合わせたプロンプトが高得点になる場合があるため、候補を採用する前に人が確認する必要があると著者らは注意を促しています。