Rescale, AI 테스트 분류 에이전트 배포

Rescale은 야간 엔드투엔드 테스트 실패를 분류하고 담당 경로를 지정하는 AI 에이전트를 AWS에서 구축했습니다. 에이전트는 5일 만에 스테이징에 도달했고 몇 주 안에 프로덕션에 배포됐습니다. 출시 이후 사람의 분류와 일치하는 비율은 44%에서 68%로 올랐으며, 실패 분석 때문에 프로덕션 배포가 막히는 시간은 20% 줄었습니다.

에이전트는 Amazon EKS의 Rescale CI/CD 파이프라인인 Argo Workflows에서 한 단계로 실행됩니다. Playwright 테스트 수백 건에서 실패가 발생하면 Amazon Bedrock의 Claude Opus 4.8을 사용해 인프라 문제, 코드 버그, 불안정한 테스트, 환경 문제로 분류합니다. 지식 기반에서 과거 패턴을 찾고, 도구와 AI 시스템을 연결하는 표준인 Model Context Protocol(MCP)을 통해 파드 로그를 조회한 뒤 파일 위치와 함수 이름, 엔지니어가 검토할 수정 권고를 담은 보고서를 만듭니다. 작업은 몇 초 만에 끝나며, 엔지니어는 조치 전에 보고서를 확인합니다.

AWS 아키텍트와 Rescale 엔지니어들은 대면 AI 기반 개발 수명주기(AI-DLC) 워크숍에서 5일 동안 시스템을 만들었습니다. 첫 이틀 동안 팀은 AI가 생성한 확인 질문 20개 이상에 답하고 1단계 범위를 정했으며, 2단계 항목은 미뤘습니다. 사용자 스토리 5개를 과거 패턴 지식 기반, 분류 에이전트, Argo 통합, 평가 도구의 4개 작업 단위로 합쳤습니다. 자동 풀 리퀘스트 생성 등 일부 기능은 명시적으로 후속 단계로 미뤘습니다.

2~4일 차 구축 과정에서는 아키텍처와 인터페이스 계약을 검토했습니다. 호스팅 위치는 Amazon Bedrock AgentCore에서 Rescale이 이미 Argo를 운영 중인 Amazon EKS로 바꿨고, 로그 조회도 제3자 서비스 대신 Amazon CloudWatch로 전환하면서 MCP 방식은 유지했습니다. Strands SDK로 만든 컨테이너형 에이전트는 여러 실패를 동시에 분석하고 구조화된 JSON과 HTML 결과를 지원합니다. 4일 차에는 스테이징에서 파이프라인이 작동했고, 5일 차에는 실제 데이터와 대체 데이터를 사용하는 PyTest 평가 프레임워크 및 초기 분류 일치율 기준선을 마련했습니다. 실시간 시연에서 에이전트는 인프라 실패와 코드 버그를 올바르게 분류하고 파일 단위 수정 권고를 제시했습니다.

팀은 작업 단위별로 설계 검토 수준을 달리했습니다. 지식 기반은 Terraform으로 몇 시간 만에 배포했고, 분류 에이전트는 아키텍처 검토와 인터페이스 계약, 설계 질문 12개, 반복적인 코드 검토를 거쳤습니다. Argo 통합은 인프라 계약과 IAM에 집중했고, 평가 도구는 간소한 설계와 상당한 구현 작업으로 완성했습니다. 에이전트는 워크숍 이후 프로덕션에서 야간 실패를 처리하며 엔지니어가 확인할 자동 1차 분류를 제공해 왔습니다. 팀이 기준 정답 데이터셋과 프롬프트를 다듬으면서 사람 분류와의 일치율은 초기 배포 당시 44%에서 68%로 상승했습니다. 프로덕션 배포를 막는 시간의 20% 감소는 실패를 분석하는 기간에 해당하며, Rescale은 매주 릴리스합니다.

Rescale은 내부 AI-DLC 우수센터를 검토하며 관행을 정리하고 다른 팀의 도입을 지원할 방안을 살피고 있습니다. 새 엔지니어링 시뮬레이션 제품 개발에 AI-DLC를 반영하고, 시뮬레이션 애플리케이션 카탈로그 관리, 정부 규정 준수를 위한 컨테이너 취약점 추적과 해결, 워크플로 기반 클라우드 코딩 에이전트에도 적용하고 있습니다. Rescale은 이 방법이 설계 논의를 검토된 명세로 정리해 코딩 에이전트에 정의된 작업을 맡기고, 엔지니어가 정확성에 대한 책임을 유지하도록 한다고 설명했습니다.

Rescale은 야간 엔드투엔드 테스트 실패를 분류하고 담당 경로를 지정하는 AI 에이전트를 AWS에서 구축했습니다. 에이전트는 5일 만에 스테이징에 도달했고 몇 주 안에 프로덕션에 배포됐습니다. 출시 이후 사람의 분류와 일치하는 비율은 44%에서 68%로 올랐으며, 실패 분석 때문에 프로덕션 배포가 막히는 시간은 20% 줄었습니다.

에이전트는 Amazon EKS의 Rescale CI/CD 파이프라인인 Argo Workflows에서 한 단계로 실행됩니다. Playwright 테스트 수백 건에서 실패가 발생하면 Amazon Bedrock의 Claude Opus 4.8을 사용해 인프라 문제, 코드 버그, 불안정한 테스트, 환경 문제로 분류합니다. 지식 기반에서 과거 패턴을 찾고, 도구와 AI 시스템을 연결하는 표준인 Model Context Protocol(MCP)을 통해 파드 로그를 조회한 뒤 파일 위치와 함수 이름, 엔지니어가 검토할 수정 권고를 담은 보고서를 만듭니다. 작업은 몇 초 만에 끝나며, 엔지니어는 조치 전에 보고서를 확인합니다.

AWS 아키텍트와 Rescale 엔지니어들은 대면 AI 기반 개발 수명주기(AI-DLC) 워크숍에서 5일 동안 시스템을 만들었습니다. 첫 이틀 동안 팀은 AI가 생성한 확인 질문 20개 이상에 답하고 1단계 범위를 정했으며, 2단계 항목은 미뤘습니다. 사용자 스토리 5개를 과거 패턴 지식 기반, 분류 에이전트, Argo 통합, 평가 도구의 4개 작업 단위로 합쳤습니다. 자동 풀 리퀘스트 생성 등 일부 기능은 명시적으로 후속 단계로 미뤘습니다.

2~4일 차 구축 과정에서는 아키텍처와 인터페이스 계약을 검토했습니다. 호스팅 위치는 Amazon Bedrock AgentCore에서 Rescale이 이미 Argo를 운영 중인 Amazon EKS로 바꿨고, 로그 조회도 제3자 서비스 대신 Amazon CloudWatch로 전환하면서 MCP 방식은 유지했습니다. Strands SDK로 만든 컨테이너형 에이전트는 여러 실패를 동시에 분석하고 구조화된 JSON과 HTML 결과를 지원합니다. 4일 차에는 스테이징에서 파이프라인이 작동했고, 5일 차에는 실제 데이터와 대체 데이터를 사용하는 PyTest 평가 프레임워크 및 초기 분류 일치율 기준선을 마련했습니다. 실시간 시연에서 에이전트는 인프라 실패와 코드 버그를 올바르게 분류하고 파일 단위 수정 권고를 제시했습니다.

팀은 작업 단위별로 설계 검토 수준을 달리했습니다. 지식 기반은 Terraform으로 몇 시간 만에 배포했고, 분류 에이전트는 아키텍처 검토와 인터페이스 계약, 설계 질문 12개, 반복적인 코드 검토를 거쳤습니다. Argo 통합은 인프라 계약과 IAM에 집중했고, 평가 도구는 간소한 설계와 상당한 구현 작업으로 완성했습니다. 에이전트는 워크숍 이후 프로덕션에서 야간 실패를 처리하며 엔지니어가 확인할 자동 1차 분류를 제공해 왔습니다. 팀이 기준 정답 데이터셋과 프롬프트를 다듬으면서 사람 분류와의 일치율은 초기 배포 당시 44%에서 68%로 상승했습니다. 프로덕션 배포를 막는 시간의 20% 감소는 실패를 분석하는 기간에 해당하며, Rescale은 매주 릴리스합니다.

Rescale은 내부 AI-DLC 우수센터를 검토하며 관행을 정리하고 다른 팀의 도입을 지원할 방안을 살피고 있습니다. 새 엔지니어링 시뮬레이션 제품 개발에 AI-DLC를 반영하고, 시뮬레이션 애플리케이션 카탈로그 관리, 정부 규정 준수를 위한 컨테이너 취약점 추적과 해결, 워크플로 기반 클라우드 코딩 에이전트에도 적용하고 있습니다. Rescale은 이 방법이 설계 논의를 검토된 명세로 정리해 코딩 에이전트에 정의된 작업을 맡기고, 엔지니어가 정확성에 대한 책임을 유지하도록 한다고 설명했습니다.