エージェントハーネスが信頼性を左右
- •ピーター・スタインバーガー(Peter Steinberger)は約100のCodexインスタンスで30日間に$1,305,088.81のエージェント費用を報告した
- •METRはClaude Codeが単純なReActループを50.7 percentの割合で上回ったとした
- •AnthropicはClaude Codeの品質低下を、基盤モデルではなくハーネス変更に起因すると分析した
2026年6月、ピーター・スタインバーガー(Peter Steinberger)は、本番環境のエージェントシステムが30日間で$1,305,088.81を費やし、3人のチームが運用する約100のCodexインスタンスで603 billion tokens超を処理したと報告した。オイェデレ・テミトペ(Oyedele Temitope)は、中心的な論点はどのモデルが作業を担ったかだけでなく、何千回ものツール呼び出しと判断の後に数百の並列エージェントを協調させる本番ハーネスが何だったのかにあると述べた。
AIエージェントハーネスとは、モデルの推論を実行に変える、モデル周辺のランタイムを指す。役割には、指示と文脈の組み立て、ツールアクセス管理、永続状態の維持、モデル間ルーティング、検証、可観測性、ガードレール、サンドボックス化(隔離された実行環境)が含まれる。これらは推論タスクではなくシステムエンジニアリング上の課題であるため、モデルの外側に置かれる。
テミトペによると、ハーネスの構成要素はたいてい本番環境で失敗が繰り返された後に現れる。バージョン管理されたシステムプロンプトは実行ごとの挙動のばらつきを減らす。リトライ付きの構造化ツール呼び出しは、タスク失敗が静かに見過ごされる事態を防ぐ。サンドボックスはエージェント生成コードの実行時リスクを抑える。耐久性のあるストレージは、セッションをまたいでファイルや中間作業を保持する。コンテキスト管理は、圧縮、要約、必要時の文脈注入によってコンテキストウィンドウが埋まるのを避ける。独立した検証やテストは完了前に誤りを検出し、人間参加型の承認は取り消せない操作を処理する。可観測性はトレース、ツール呼び出し、コスト、レイテンシ指標を記録する。
Model Evaluation and Threat Research(METR)のコーディングエージェント研究は、完全なエージェントシステムの重要性を示す根拠として引用された。METRは、Claude Codeが単純なReason-Act(ReAct)ループを50.7 percentの割合で上回った一方、CodexがTriframeを上回った割合は14.5 percentにとどまったとした。これらの結果は、目的特化型ハーネスが汎用的な足場より低い性能を示す場合があり、モデルを包むシステムが性能を高めるだけでなく下げることもあるという兆候として示された。
METRの研究は、コーディングエージェントが長いタスクや持続的な推論を必要とする作業で信頼性を落とすことも示した。これは実務上の時間軸として説明され、タスク時間が延びるほど信頼性が低下し、エージェントは一貫性を失い、誤りからの回復が弱まり、長時間の実行に苦戦する。
AnthropicのClaude Codeに関するエンジニアリング事後分析では、基盤モデルが変わっていないにもかかわらず、ユーザーがコーディング品質の低下を報告した。Anthropicは、その後退をハーネス側の3つの変更に結びつけた。レイテンシを下げるためのデフォルト推論努力量の低下、アイドルセッション後に過去の推論を繰り返し破棄していたコンテキスト管理のキャッシュバグ、冗長さを減らす目的のシステムプロンプト変更が予期せずコーディング品質を下げたことだ。
テミトペは、2つの情報源が異なる制約を測っていると述べる。METRは、コーディングエージェントがより長く難しいタスクをどれだけ確実に完了できるかを測る。Anthropicは、モデルを一定に保ったまま、推論努力量、コンテキスト管理、システム指示が出力品質にどう影響するかを測る。より良いモデルは依然として重要だが、モデル能力がどれだけ確実に動作する成果へ変わるかは本番ハーネスが決める、という結論である。