Rescale、AWSでAIテスト振り分けエージェントを本番導入
- •RescaleのAWS障害振り分けエージェントは5日でステージング環境に到達し、数週間以内に本番稼働
- •人による振り分けとの一致率は44%から68%に上昇し、障害分析で本番デプロイを妨げる時間は20%減少
- •夜間テストの失敗を分類してログや過去の傾向を調べ、エンジニアが確認する修正案を提示
Rescaleは、夜間のエンドツーエンドテストの失敗を分類して振り分けるAIエージェントをAWS上に構築しました。開発開始から5日でステージング環境に導入し、数週間以内に本番稼働させました。稼働後、人による振り分けとの一致率は44%から68%に上昇し、失敗分析によって本番デプロイが妨げられる時間は20%減りました。
エージェントはAmazon EKS上で動くRescaleのArgo Workflows CI/CDパイプラインの一工程です。数百件のPlaywrightテストで失敗が出ると、Amazon Bedrock上のClaude Opus 4.8を使い、インフラの問題、コードのバグ、不安定なテスト、環境の問題に分類します。ナレッジベースから過去の傾向を検索し、Model Context Protocol（AIシステムとツールを接続する標準）を通じてポッドのログを調べ、ファイルや関数の参照先と修正案をまとめます。処理は数秒で完了し、エンジニアが報告を確認してから対応します。
AWSのアーキテクトとRescaleのエンジニアは、5日間の対面式AI-Driven Development Lifecycle（AI-DLC）ワークショップでシステムを開発しました。最初の2日間に、チームはAIが生成した20件を超える確認質問に回答し、第1段階の範囲を定め、第2段階の項目を先送りしました。また、5つのユーザーストーリーを、過去の傾向を蓄積するナレッジベース、振り分けエージェント、Argo連携、評価用ハーネスの4つの作業単位にまとめました。プルリクエストの自動生成などは明示的に先送りしました。
2日目から4日目の構築期間には、チームがアーキテクチャとインターフェース仕様を確認しました。ホスティング先をAmazon Bedrock AgentCoreから、すでにArgoを動かしていたAmazon EKSへ変更し、ログ取得も外部サービスからAmazon CloudWatchに切り替えました。MCPの方式は維持しています。Strands SDKで構築したコンテナ型エージェントは、複数の失敗を並行して分析し、構造化されたJSONとHTMLを出力できます。4日目にはパイプラインがステージング環境で稼働し、5日目には実データとスタブデータの両方に対応するPyTest評価基盤と、初期の分類一致率の基準値を整えました。実演では、インフラ障害とコードのバグを正しく分類し、ファイル単位の修正案を示しました。
チームは作業単位ごとに設計の労力を調整しました。ナレッジベースはTerraformで数時間以内に導入し、振り分けエージェントにはアーキテクチャ審査、インターフェース仕様、12件の設計質問、段階的なコードレビューを実施しました。Argo連携ではインフラ仕様とIAMに重点を置き、評価用ハーネスは簡潔な設計と大規模な実装を行いました。エージェントはワークショップ以降、本番環境で夜間の失敗を処理し、エンジニアが検証するための最初の分析を提供しています。チームが正解データセットとプロンプトを改良する中、人による振り分けとの一致率は初期導入時の44%から68%に上がりました。20%の減少は失敗分析中に本番デプロイを妨げる時間についての測定値で、Rescaleのリリース頻度は週1回です。
Rescaleは、AI-DLCの手法を体系化し、他チームへの導入を支援する社内のCenter of Excellenceを評価しています。新しいエンジニアリングシミュレーション製品の開発にAI-DLCを取り入れ、シミュレーションアプリのカタログ管理、政府のコンプライアンスに向けたコンテナ脆弱性の追跡と修正、ワークフロー型クラウドコーディングエージェントにも適用しています。Rescaleによると、この手法は設計議論をレビュー済みの仕様にまとめ、エンジニアが正確性に責任を持つ一方で、コーディングエージェントが明確に定義された作業に取り組めるようにします。