AWS, UAEF 에이전트 평가 프레임워크 공개

AWS는 통신·의료·금융 분야 12개 조직의 팀이 오픈소스 범용 에이전트 평가 프레임워크(UAEF)를 사용해 AI 에이전트를 일관된 지표로 평가하고 출시 전에 버전을 비교했다고 밝혔습니다. 이 프레임워크는 한 에이전트 프레임워크의 실행 기록 형식에 맞춘 도구를 다른 프레임워크로 바꿀 때 다시 만들어야 하는 문제를 해결하도록 설계됐습니다. UAEF는 LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore를 지원합니다. 실행 기록을 공통 형식으로 변환해 점수화하고 결과를 저장하며, 다음 평가에 참고할 보고서를 생성합니다.

평가는 에이전트와 시험 입력 데이터세트로 진행하며, 데이터세트에는 기준 답변과 예상 도구 호출을 포함할 수 있습니다. 어댑터는 기존 실행 기록이나 HTTP 엔드포인트 또는 관리형 런타임으로 에이전트를 호출해 수집한 기록을 표준 AgentTrace 형식으로 변환합니다. 저장 전에는 이메일 주소, 전화번호, 신용카드 번호 같은 개인 식별 정보를 검사하며, 팀은 저장본에서 해당 정보를 가리도록 설정할 수 있습니다. 점수 엔진은 7개 차원에 걸친 기본 지표 36개 중 선택한 지표를 적용합니다. 차원은 도구 호출, 응답 품질, 책임 있는 AI, 성능, 다중 대화, 다중 에이전트 협업, 추론입니다. 각 지표는 0부터 1까지 점수를 내며 1이 최고입니다. 결정론적 지표는 반복 실행에서도 같은 점수를 내고, 대규모 언어 모델(LLM) 심판 지표는 Amazon Bedrock의 심판 모델을 사용해 관련성이나 안전성 같은 특성을 평가합니다. 팀은 자체 지표를 추가하거나 RAGAS와 DeepEval 연동 기능을 사용할 수 있습니다.

UAEF는 실험 메타데이터를 Amazon DynamoDB에, 전체 결과를 Amazon S3에 저장합니다. 기록에는 에이전트 프레임워크, 모델, 도구, 시스템 프롬프트, 매개변수, 설정 스냅샷, Git 커밋이 포함될 수 있으며, 팀은 실행을 기준선으로 지정할 수 있습니다. 비교 기능은 공통 지표의 절대 변화와 백분율 변화를 계산하고, 설정 가능한 임계값에 따라 퇴행·개선·변화 없음으로 분류합니다. 기본 임계값은 5%입니다. 퇴행 정도는 5~10%면 경미, 10~20%면 중간, 20% 초과면 심각으로 구분합니다. 비교 결과는 차원별로 퇴행을 묶어 보여주며, 웹 인터페이스와 Python 라이브러리는 같은 엔진을 사용합니다.

보고서에는 실험 점수, 시험 사례, 실패한 질의, 차원별·지표별 결과가 표시됩니다. 통계 보고서는 신뢰구간, 이상치, 점수 분포, 지표 간 상관관계, 책임 있는 AI 요약, 낮은 점수의 차원 및 시험 사례에 따라 결과가 달라지는 지표에 기반한 권고사항을 포함합니다. 이 보고서는 LLM 없이 점수만으로 계산됩니다. 선택 사항인 Amazon Bedrock 생성 인사이트는 실행 또는 비교의 강점과 약점, 가능한 원인, 권고하는 다음 단계를 설명합니다. 팀은 노트북, 스크립트, 지속적 통합·배포 파이프라인에서 Python 라이브러리를 사용하거나 웹 인터페이스를 갖춘 AWS 로코드 서비스에서 같은 엔진을 이용할 수 있습니다.

AWS는 UAEF를 awslabs/uaef GitHub 저장소에서 Apache 2.0 라이선스로 공개했다고 밝혔습니다. 패키지에는 라이브러리, 어댑터, 지표, AWS Cloud Development Kit 인프라, 웹 인터페이스, 실행 가능한 노트북이 포함됩니다. AWS의 활용 지침은 에이전트 시나리오에 맞는 지표를 선택하라고 권고합니다. 모든 차원을 평가하면 시간이 낭비되고 Amazon Bedrock 호출이 늘어날 수 있으며, 일부 지표에는 기준 답변이나 예상 도구 호출이 필요합니다.

AWS는 통신·의료·금융 분야 12개 조직의 팀이 오픈소스 범용 에이전트 평가 프레임워크(UAEF)를 사용해 AI 에이전트를 일관된 지표로 평가하고 출시 전에 버전을 비교했다고 밝혔습니다. 이 프레임워크는 한 에이전트 프레임워크의 실행 기록 형식에 맞춘 도구를 다른 프레임워크로 바꿀 때 다시 만들어야 하는 문제를 해결하도록 설계됐습니다. UAEF는 LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore를 지원합니다. 실행 기록을 공통 형식으로 변환해 점수화하고 결과를 저장하며, 다음 평가에 참고할 보고서를 생성합니다.

평가는 에이전트와 시험 입력 데이터세트로 진행하며, 데이터세트에는 기준 답변과 예상 도구 호출을 포함할 수 있습니다. 어댑터는 기존 실행 기록이나 HTTP 엔드포인트 또는 관리형 런타임으로 에이전트를 호출해 수집한 기록을 표준 AgentTrace 형식으로 변환합니다. 저장 전에는 이메일 주소, 전화번호, 신용카드 번호 같은 개인 식별 정보를 검사하며, 팀은 저장본에서 해당 정보를 가리도록 설정할 수 있습니다. 점수 엔진은 7개 차원에 걸친 기본 지표 36개 중 선택한 지표를 적용합니다. 차원은 도구 호출, 응답 품질, 책임 있는 AI, 성능, 다중 대화, 다중 에이전트 협업, 추론입니다. 각 지표는 0부터 1까지 점수를 내며 1이 최고입니다. 결정론적 지표는 반복 실행에서도 같은 점수를 내고, 대규모 언어 모델(LLM) 심판 지표는 Amazon Bedrock의 심판 모델을 사용해 관련성이나 안전성 같은 특성을 평가합니다. 팀은 자체 지표를 추가하거나 RAGAS와 DeepEval 연동 기능을 사용할 수 있습니다.

UAEF는 실험 메타데이터를 Amazon DynamoDB에, 전체 결과를 Amazon S3에 저장합니다. 기록에는 에이전트 프레임워크, 모델, 도구, 시스템 프롬프트, 매개변수, 설정 스냅샷, Git 커밋이 포함될 수 있으며, 팀은 실행을 기준선으로 지정할 수 있습니다. 비교 기능은 공통 지표의 절대 변화와 백분율 변화를 계산하고, 설정 가능한 임계값에 따라 퇴행·개선·변화 없음으로 분류합니다. 기본 임계값은 5%입니다. 퇴행 정도는 5~10%면 경미, 10~20%면 중간, 20% 초과면 심각으로 구분합니다. 비교 결과는 차원별로 퇴행을 묶어 보여주며, 웹 인터페이스와 Python 라이브러리는 같은 엔진을 사용합니다.

보고서에는 실험 점수, 시험 사례, 실패한 질의, 차원별·지표별 결과가 표시됩니다. 통계 보고서는 신뢰구간, 이상치, 점수 분포, 지표 간 상관관계, 책임 있는 AI 요약, 낮은 점수의 차원 및 시험 사례에 따라 결과가 달라지는 지표에 기반한 권고사항을 포함합니다. 이 보고서는 LLM 없이 점수만으로 계산됩니다. 선택 사항인 Amazon Bedrock 생성 인사이트는 실행 또는 비교의 강점과 약점, 가능한 원인, 권고하는 다음 단계를 설명합니다. 팀은 노트북, 스크립트, 지속적 통합·배포 파이프라인에서 Python 라이브러리를 사용하거나 웹 인터페이스를 갖춘 AWS 로코드 서비스에서 같은 엔진을 이용할 수 있습니다.

AWS는 UAEF를 awslabs/uaef GitHub 저장소에서 Apache 2.0 라이선스로 공개했다고 밝혔습니다. 패키지에는 라이브러리, 어댑터, 지표, AWS Cloud Development Kit 인프라, 웹 인터페이스, 실행 가능한 노트북이 포함됩니다. AWS의 활용 지침은 에이전트 시나리오에 맞는 지표를 선택하라고 권고합니다. 모든 차원을 평가하면 시간이 낭비되고 Amazon Bedrock 호출이 늘어날 수 있으며, 일부 지표에는 기준 답변이나 예상 도구 호출이 필요합니다.