デバシシュ・ゴーサル(Debashish Ghosal)は、エージェント評価ハーネスのAgentEval ForgeをGitHubとPyPIで公開した。公開は、エージェント評価では最終回答だけでなく実行全体を判定すべきだとする同氏の以前の主張から2週間後だった。v0.1.0は、起動シナリオ、回帰ワークフロー、敵対的ケース生成、CIゲートでエージェントを検証し、安全性の失敗を、正しい最終回答では相殺できない実行終了レベルの失敗として扱う設計だ。

AgentEval Forgeには、20のCritical User Journeys、5つの中核コンポーネント、17の決定的チェック、11のLLM-as-judge指標、回帰エンジン、敵対的生成器、M0 scaffoldからM12 launchまで12マイルストーンにまたがる118タスクのWBSが含まれる。対応するエージェント面はsubprocess、Python import、HTTP、LangGraph、PydanticAIの5つ。各アダプターは、シナリオ入力、許可ツール、禁止ツール、予算を含む制限付き呼び出しペイロードを送り、期待回答と採点しきい値を隠して正解データの漏えいを防ぐ。

ゴーサルは、sandbox mode、trust policies、audit trails、API key sanitizationを備えたセキュリティモデルも構築し、GitHub Actions、GitLab CI、Docker sandbox向けのCI統合を加えた。文書化された機能一覧には、10ファミリーにまたがる20の起動シナリオ、8つのセキュリティシナリオ、17の決定的スコアラー、11のLLM-as-judge指標、5つのフレームワークアダプター、Safety > Correctness > Efficiencyという製品階層が並ぶ。

単体テストとモックエージェントが統合上の問題を隠していたため、実地試験はプロジェクトの方向を変えた。ゴーサルは150+のGitHubリポジトリを調べ、テスト可能に見える19件を見つけた。内訳は11のLangGraphエージェントと8のPydanticAIエージェントだった。各エージェントには個別の設定ファイル、シナリオパック、仮想環境が与えられ、テストは3階層で実行された。Qwen3.5-9B-MLX-4bitを提供するローカルMLX構成、gpt-4o-miniを使う安価なクラウド階層、gpt-4oを使う上位クラウド階層である。

実地試験では、19エージェントと95シナリオ全体の合格率が9%、合格数は9件だけだった。ゴーサルは、この結果はエージェント品質よりもアダプターの現実性を測ったものだと述べた。ハーネスを生かしたまま空の補完を返すラッパーは、スコアがゼロになったためだ。安価なクラウド階層と上位クラウド階層はいずれも9/95合格で同一の結果となり、上位モデルは安価なモデルが見逃した回帰や改善を示さなかった。

主な障害は設定失敗だった。あるエージェントは未対応のモデル名でChatOpenAI()をモジュールスコープにハードコードし、別のエージェントはimport時に/rootへ書き込んだ。3件はC拡張のABI不一致を伴うormsgpackを持ち込み、1つのリポジトリはpyproject.tomlをサブディレクトリに置いていたため、ルートでのuv syncが何もしなかった。さらに1件は古いPydanticAI API版を使っていたため除外された。ゴーサルは8つの互換性ラッパーモジュールを書き、壊れたパッケージング向けに3つのpyproject.tomlを作成し、ほかに実行可能だった3エージェントを隔離した。

LangGraphのマルチエージェントリポジトリlg-mcp-agentsは、対象を絞ったアダプター作業の後、両クラウド階層で5/5合格を達成した。ゴーサルは、この結果がアダプターが実際のエージェント挙動を動かしていることを示したと述べた。このリポジトリは以前、元のStreamlitアプリ外では実行できなかったためだ。実地ハーネスが後から追加されたのは、モックエージェントがアダプター契約にきれいに従いすぎたからだった。一方、実際のエージェントはffmpegをimportし、互換性のない仮想環境を作り、絶対パスへ書き込み、APIキーをモジュールスコープにハードコードし、プロジェクトファイルをサブディレクトリに入れていた。

ゴーサルによれば、AgentEval Forge v0.1.0はGitHub上の実際のサードパーティー製エージェントを大規模にimport、設定、呼び出し、採点できる。ただし、スコアラーが大規模で混在した対象群を意味のある順序でランク付けできることは、まだ示していない。一部のPydanticAIラッパーでの空の補完、ormsgpackの不一致、対象群の拡張、アダプター品質、SWE-benchとWebArena向けのデフォルトCI統合は未完了の作業として残る。パッケージはpip install agent-eval-forgeでインストールでき、リポジトリにはREADME、ユーザーガイド、08.02.2026付の実地試験レポート、hard-won lessons文書が含まれる。

デバシシュ・ゴーサル(Debashish Ghosal)は、エージェント評価ハーネスのAgentEval ForgeをGitHubとPyPIで公開した。公開は、エージェント評価では最終回答だけでなく実行全体を判定すべきだとする同氏の以前の主張から2週間後だった。v0.1.0は、起動シナリオ、回帰ワークフロー、敵対的ケース生成、CIゲートでエージェントを検証し、安全性の失敗を、正しい最終回答では相殺できない実行終了レベルの失敗として扱う設計だ。

AgentEval Forgeには、20のCritical User Journeys、5つの中核コンポーネント、17の決定的チェック、11のLLM-as-judge指標、回帰エンジン、敵対的生成器、M0 scaffoldからM12 launchまで12マイルストーンにまたがる118タスクのWBSが含まれる。対応するエージェント面はsubprocess、Python import、HTTP、LangGraph、PydanticAIの5つ。各アダプターは、シナリオ入力、許可ツール、禁止ツール、予算を含む制限付き呼び出しペイロードを送り、期待回答と採点しきい値を隠して正解データの漏えいを防ぐ。

ゴーサルは、sandbox mode、trust policies、audit trails、API key sanitizationを備えたセキュリティモデルも構築し、GitHub Actions、GitLab CI、Docker sandbox向けのCI統合を加えた。文書化された機能一覧には、10ファミリーにまたがる20の起動シナリオ、8つのセキュリティシナリオ、17の決定的スコアラー、11のLLM-as-judge指標、5つのフレームワークアダプター、Safety > Correctness > Efficiencyという製品階層が並ぶ。

単体テストとモックエージェントが統合上の問題を隠していたため、実地試験はプロジェクトの方向を変えた。ゴーサルは150+のGitHubリポジトリを調べ、テスト可能に見える19件を見つけた。内訳は11のLangGraphエージェントと8のPydanticAIエージェントだった。各エージェントには個別の設定ファイル、シナリオパック、仮想環境が与えられ、テストは3階層で実行された。Qwen3.5-9B-MLX-4bitを提供するローカルMLX構成、gpt-4o-miniを使う安価なクラウド階層、gpt-4oを使う上位クラウド階層である。

実地試験では、19エージェントと95シナリオ全体の合格率が9%、合格数は9件だけだった。ゴーサルは、この結果はエージェント品質よりもアダプターの現実性を測ったものだと述べた。ハーネスを生かしたまま空の補完を返すラッパーは、スコアがゼロになったためだ。安価なクラウド階層と上位クラウド階層はいずれも9/95合格で同一の結果となり、上位モデルは安価なモデルが見逃した回帰や改善を示さなかった。

主な障害は設定失敗だった。あるエージェントは未対応のモデル名でChatOpenAI()をモジュールスコープにハードコードし、別のエージェントはimport時に/rootへ書き込んだ。3件はC拡張のABI不一致を伴うormsgpackを持ち込み、1つのリポジトリはpyproject.tomlをサブディレクトリに置いていたため、ルートでのuv syncが何もしなかった。さらに1件は古いPydanticAI API版を使っていたため除外された。ゴーサルは8つの互換性ラッパーモジュールを書き、壊れたパッケージング向けに3つのpyproject.tomlを作成し、ほかに実行可能だった3エージェントを隔離した。

LangGraphのマルチエージェントリポジトリlg-mcp-agentsは、対象を絞ったアダプター作業の後、両クラウド階層で5/5合格を達成した。ゴーサルは、この結果がアダプターが実際のエージェント挙動を動かしていることを示したと述べた。このリポジトリは以前、元のStreamlitアプリ外では実行できなかったためだ。実地ハーネスが後から追加されたのは、モックエージェントがアダプター契約にきれいに従いすぎたからだった。一方、実際のエージェントはffmpegをimportし、互換性のない仮想環境を作り、絶対パスへ書き込み、APIキーをモジュールスコープにハードコードし、プロジェクトファイルをサブディレクトリに入れていた。

ゴーサルによれば、AgentEval Forge v0.1.0はGitHub上の実際のサードパーティー製エージェントを大規模にimport、設定、呼び出し、採点できる。ただし、スコアラーが大規模で混在した対象群を意味のある順序でランク付けできることは、まだ示していない。一部のPydanticAIラッパーでの空の補完、ormsgpackの不一致、対象群の拡張、アダプター品質、SWE-benchとWebArena向けのデフォルトCI統合は未完了の作業として残る。パッケージはpip install agent-eval-forgeでインストールでき、リポジトリにはREADME、ユーザーガイド、08.02.2026付の実地試験レポート、hard-won lessons文書が含まれる。