AIエージェント向けツールを開発するドン・ジョンソン(Don Johnson)は、自身のRustライブラリにおける回帰計算の根本的な誤りにもかかわらず、390件中389件のテストが通過することを発見した。彼は乗算記号を足し算に置き換える「突然変異（ミューテーション）」を導入することでこのミスを特定したが、既存のテストスイートではその欠陥を検知できなかった。唯一この不具合を指摘したテストは、NIST（米国国立標準技術研究所）のStRD（統計参照データセット）プロジェクト、具体的にはLongley回帰データセットを利用していた。これは決定論的なプログラムであっても、独立した証拠に基づく検証がなければ信頼性を担保できないことを示している。

著者は、AIエージェントのワークフローにおいてモデルの推論とツールの実行を明確に分離すべきだと主張する。エージェントツール向けに「5層チャレンジスタック」を採用することで、開発者は定義された契約内でツールの暫定的な権限を確立できる。このスタックには、実行可能な明示的契約、期待値の独立した参照、数学的法則を確認するプロパティベーステスト、テストの感度を検証するミューテーションテスト、型付きの制限付き失敗レポートが必要となる。目標は単純な例示ベースのテストを超え、エージェントが矛盾発生時に検査、再現、精査できる「挑戦を受けるソースコード」を提供することだ。

この実験により、厳格な入力検証を行っていても、ツールがリソース境界の強制やスキーマの整合性を維持できない可能性があることが明らかになった。ジョンソンは自身の計算機を改修し、JSONリクエスト内の未知のフィールドを拒否するようにしたほか、最適化インターフェースに10万回の反復と100万グリッドポイントという上限を設けた。彼は「cargo-mutants」を活用し、後のガードが11種類の妥当な欠陥を確実に捕捉できることを確認した。このプロセスは、コードへの盲信を証拠に基づくキャリブレーションに置き換え、エージェントが実証済みの契約範囲内でのみツール出力を尊重できるようにすることを目的としている。

AIエージェント向けツールを開発するドン・ジョンソン(Don Johnson)は、自身のRustライブラリにおける回帰計算の根本的な誤りにもかかわらず、390件中389件のテストが通過することを発見した。彼は乗算記号を足し算に置き換える「突然変異（ミューテーション）」を導入することでこのミスを特定したが、既存のテストスイートではその欠陥を検知できなかった。唯一この不具合を指摘したテストは、NIST（米国国立標準技術研究所）のStRD（統計参照データセット）プロジェクト、具体的にはLongley回帰データセットを利用していた。これは決定論的なプログラムであっても、独立した証拠に基づく検証がなければ信頼性を担保できないことを示している。

著者は、AIエージェントのワークフローにおいてモデルの推論とツールの実行を明確に分離すべきだと主張する。エージェントツール向けに「5層チャレンジスタック」を採用することで、開発者は定義された契約内でツールの暫定的な権限を確立できる。このスタックには、実行可能な明示的契約、期待値の独立した参照、数学的法則を確認するプロパティベーステスト、テストの感度を検証するミューテーションテスト、型付きの制限付き失敗レポートが必要となる。目標は単純な例示ベースのテストを超え、エージェントが矛盾発生時に検査、再現、精査できる「挑戦を受けるソースコード」を提供することだ。

この実験により、厳格な入力検証を行っていても、ツールがリソース境界の強制やスキーマの整合性を維持できない可能性があることが明らかになった。ジョンソンは自身の計算機を改修し、JSONリクエスト内の未知のフィールドを拒否するようにしたほか、最適化インターフェースに10万回の反復と100万グリッドポイントという上限を設けた。彼は「cargo-mutants」を活用し、後のガードが11種類の妥当な欠陥を確実に捕捉できることを確認した。このプロセスは、コードへの盲信を証拠に基づくキャリブレーションに置き換え、エージェントが実証済みの契約範囲内でのみツール出力を尊重できるようにすることを目的としている。