AWS 영업·마케팅·글로벌 서비스 운영팀은 전 세계 AWS 필드 영업 조직이 사용하는 멀티 에이전트 시스템에 Amazon Bedrock AgentCore Evaluations 기반의 지속 평가 프레임워크를 구축했습니다. 영업 담당자는 Amazon Quick에 일상 언어로 업무 질문을 하고, 리더는 같은 시스템으로 주간 사업 검토(WBR)를 진행합니다. 전문 에이전트는 담당 구역별 매출과 성과, 고객 정보, 분석 데이터의 텍스트-SQL 접근 기능을 제공하며, 답변에는 사용자 역할별 보안 규칙이 적용됩니다.

출시 전 Customer Insights Agent 평가에서는 시스템 모니터링이 정상 상태였는데도 오류 4건이 발견됐습니다. 고객의 3개월 서비스 매출 410.08달러를 ‘410.08백만 달러’로 표현했고, 매출에서 조정 항목을 제외한다고 잘못 표시했으며, 데이터에 없는 연간 반복 매출을 추정하고, 자체 계산 결과를 출처가 있는 사실처럼 제시했습니다. 프로덕션 전 테스트에서는 데이터·도구·프롬프트 변경이 서로 맞지 않아 통과율이 78%에서 38%로 떨어졌습니다. 팀은 매주 데이터가 갱신되고 에이전트·프롬프트·코드·모델이 바뀔 때마다 품질 위험이 생길 수 있어, 배포 전과 실제 운영 중에 답변을 점검해야 한다고 밝혔습니다.

프레임워크는 AgentCore Evaluations와 함께 안전성에 Amazon Bedrock Guardrails, 지표·경보·추적에 Amazon CloudWatch를 사용합니다. 평가 결과는 Amazon S3와 Amazon Redshift에 저장하고, 대시보드는 Amazon Quick으로 만들며, 맞춤 평가기는 AWS Lambda로 구동합니다. 평가 기준은 안전성, 품질, 성능, 비용, 운영 통제의 다섯 가지입니다. 팀은 에이전트를 출시하고 계속 운영하기 위한 필수 조건으로 안전성을 우선하며, 게시물에서 가장 다루기 어려운 기준으로 설명한 품질에 가장 큰 관심을 둡니다.

9단계는 첫 커밋에서 품질 기준을 정하는 단계부터 운영 중인 시스템을 개선하는 단계까지 이어집니다. Foundation, Experiment, Merge(CI), Gate(CD), Canary, Adversary, Drift, Pulse, Feedback Loop 순서로 진행하며, 성공 기준 정의, 버전 비교, 회귀 오류 탐지, 운영 준비도 평가, 조용한 실패 발견, 공격 시험, 품질 변화 감시, 실시간 작동 점검, 개선 자동화를 각각 맡습니다. 평가 대상은 개별 도구, 종단 간 하위 에이전트, 멀티 에이전트 오케스트레이션의 세 수준이며, 각 수준마다 기준 데이터 세트, 평가기, 다음 단계로 승격하기 위한 조건을 둡니다.

Foundation 단계에서는 영업 담당자와 리더의 업무 성과를 출발점으로 삼아, 측정 가능한 평가 지표와 임계값, 경보 조건을 정합니다. 영업 담당자 지표에는 개체 해상도 정확도와 그라운딩 비율이, 리더 지표에는 정확도 통과율과 응답 범위가 포함됩니다. 팀은 안전 정책과 도구·에이전트별 p50·p90·p99 지연 시간 목표, 질의당 비용 예산, 경보 및 대응 절차서와 연결된 서비스 수준 계약(SLA)도 설정합니다. 운영 중 발생한 오류를 바탕으로 지표 혼동, 잘못된 기간, 잘못된 개체, 완전한 환각, 잘못된 통화 또는 단위 기호, 승인되지 않은 계산 등 정확도 실패 유형 6가지를 정의했습니다. 핵심 지표로 전체 정확도 통과율을 추적하고, 관련성·충실성·유용성·지시 준수·도구 선택 정확도도 살핍니다. 제공된 원문은 기본 제공 평가기와 맞춤 평가기를 소개한 뒤 평가기 구성 설명 도중 끝납니다.

AWS 영업·마케팅·글로벌 서비스 운영팀은 전 세계 AWS 필드 영업 조직이 사용하는 멀티 에이전트 시스템에 Amazon Bedrock AgentCore Evaluations 기반의 지속 평가 프레임워크를 구축했습니다. 영업 담당자는 Amazon Quick에 일상 언어로 업무 질문을 하고, 리더는 같은 시스템으로 주간 사업 검토(WBR)를 진행합니다. 전문 에이전트는 담당 구역별 매출과 성과, 고객 정보, 분석 데이터의 텍스트-SQL 접근 기능을 제공하며, 답변에는 사용자 역할별 보안 규칙이 적용됩니다.

출시 전 Customer Insights Agent 평가에서는 시스템 모니터링이 정상 상태였는데도 오류 4건이 발견됐습니다. 고객의 3개월 서비스 매출 410.08달러를 ‘410.08백만 달러’로 표현했고, 매출에서 조정 항목을 제외한다고 잘못 표시했으며, 데이터에 없는 연간 반복 매출을 추정하고, 자체 계산 결과를 출처가 있는 사실처럼 제시했습니다. 프로덕션 전 테스트에서는 데이터·도구·프롬프트 변경이 서로 맞지 않아 통과율이 78%에서 38%로 떨어졌습니다. 팀은 매주 데이터가 갱신되고 에이전트·프롬프트·코드·모델이 바뀔 때마다 품질 위험이 생길 수 있어, 배포 전과 실제 운영 중에 답변을 점검해야 한다고 밝혔습니다.

프레임워크는 AgentCore Evaluations와 함께 안전성에 Amazon Bedrock Guardrails, 지표·경보·추적에 Amazon CloudWatch를 사용합니다. 평가 결과는 Amazon S3와 Amazon Redshift에 저장하고, 대시보드는 Amazon Quick으로 만들며, 맞춤 평가기는 AWS Lambda로 구동합니다. 평가 기준은 안전성, 품질, 성능, 비용, 운영 통제의 다섯 가지입니다. 팀은 에이전트를 출시하고 계속 운영하기 위한 필수 조건으로 안전성을 우선하며, 게시물에서 가장 다루기 어려운 기준으로 설명한 품질에 가장 큰 관심을 둡니다.

9단계는 첫 커밋에서 품질 기준을 정하는 단계부터 운영 중인 시스템을 개선하는 단계까지 이어집니다. Foundation, Experiment, Merge(CI), Gate(CD), Canary, Adversary, Drift, Pulse, Feedback Loop 순서로 진행하며, 성공 기준 정의, 버전 비교, 회귀 오류 탐지, 운영 준비도 평가, 조용한 실패 발견, 공격 시험, 품질 변화 감시, 실시간 작동 점검, 개선 자동화를 각각 맡습니다. 평가 대상은 개별 도구, 종단 간 하위 에이전트, 멀티 에이전트 오케스트레이션의 세 수준이며, 각 수준마다 기준 데이터 세트, 평가기, 다음 단계로 승격하기 위한 조건을 둡니다.

Foundation 단계에서는 영업 담당자와 리더의 업무 성과를 출발점으로 삼아, 측정 가능한 평가 지표와 임계값, 경보 조건을 정합니다. 영업 담당자 지표에는 개체 해상도 정확도와 그라운딩 비율이, 리더 지표에는 정확도 통과율과 응답 범위가 포함됩니다. 팀은 안전 정책과 도구·에이전트별 p50·p90·p99 지연 시간 목표, 질의당 비용 예산, 경보 및 대응 절차서와 연결된 서비스 수준 계약(SLA)도 설정합니다. 운영 중 발생한 오류를 바탕으로 지표 혼동, 잘못된 기간, 잘못된 개체, 완전한 환각, 잘못된 통화 또는 단위 기호, 승인되지 않은 계산 등 정확도 실패 유형 6가지를 정의했습니다. 핵심 지표로 전체 정확도 통과율을 추적하고, 관련성·충실성·유용성·지시 준수·도구 선택 정확도도 살핍니다. 제공된 원문은 기본 제공 평가기와 맞춤 평가기를 소개한 뒤 평가기 구성 설명 도중 끝납니다.