Google, Agents CLI 평가 워크플로 공개

Google Cloud 제품 관리자 피에르 파올로 이폴리토(Pier Paolo Ippolito)와 솔루션 전문가 엘리아 세키(Elia Secchi)는 2026년 10월 28일 Agents CLI 평가 명령으로 에이전트 동작을 시험하고 변경 사항을 비교하며 회귀를 추적하고 예약 검사를 실행하는 안내서를 공개했습니다. 워크플로는 Agents CLI v1.8.0의 LangChain 템플릿과 인사, 샌프란시스코·로마 날씨 질문, 2024년 월드 시리즈에 관한 엉뚱한 질문 등 4개 사례 데이터셋으로 시작합니다. 맞춤형 지표는 gemini-3.8-flash를 평가자로 사용해 정확성·관련성·명확성을 1~5점으로 채점합니다.

기준 점수는 유효 사례 4개에서 평균 4.0000, 표준편차 1.4142였습니다. 회귀를 보여주기 위해 날씨 에이전트의 유용한 시스템 프롬프트를 셰프 페르소나로 바꾸자 평균은 2.7500, 표준편차는 0.9574로 낮아졌습니다. 1~5점 척도에서 1.25점 하락한 결과입니다. 3개 사례의 점수가 낮아지고 1개는 같았습니다. 인사는 5.0에서 4.0으로, 샌프란시스코 날씨는 4.0에서 2.0으로, 엉뚱한 질문은 5.0에서 3.0으로 하락했고, 로마 날씨는 2.0을 유지했습니다. 샌프란시스코 사례에서 에이전트는 등록된 날씨 도구를 사용하지 않고 날씨를 지어냈습니다.

안내서는 eval compare가 사례별 결과와 요약 점수를 함께 보여줘 변경이 어조, 도구 사용 또는 답변 범위에 미친 영향을 파악하도록 돕는다고 설명합니다. 별도의 모델 백엔드 실험에서는 gemini-3.8-flash를 gemini-2.5-flash로 바꾸자 평균이 4.00에서 2.75로 낮아졌습니다. 인사 점수는 5.0, 로마 날씨는 2.0으로 유지됐습니다. 샌프란시스코 날씨는 4.0에서 3.0으로, 엉뚱한 질문은 5.0에서 1.0으로 하락했습니다. 글은 후자의 결과가 해당 사건이 아직 일어나지 않았다는 이유로 모델이 거부했고 평가자가 이를 낮게 채점한 데서 비롯됐다고 설명합니다. 평균만 보면 모델 교체가 셰프 프롬프트 회귀만큼 나빠 보이지만, 사례별 결과는 다릅니다. 모델별로 조정된 프롬프트를 고려하고 평가자 모델은 그대로 유지해야 하며, 평가자 변경은 별도 실험으로 다뤄야 한다고 안내합니다.

Agents CLI에는 스케줄러가 내장돼 있지 않지만, 평가 명령은 cron 또는 Cloud Scheduler로 실행하고 결과를 영구 저장소에 보관할 수 있습니다. 안내서는 모델 업데이트, 도구 데이터와 바뀌는 의존성으로 인한 동작 변화를 포착하도록 안정적인 회귀 데이터셋을 대상으로 야간 검사를 권합니다. 예약 검사 데이터셋은 보통 수십~수백 개 사례를 포함하며, 빠른 개발 과정에서 쓰는 몇 개 사례보다 규모가 큽니다. 실행 결과의 평균을 기준선과 비교하는 래퍼를 사용하면 하락 폭이 임계값을 넘을 때 알림을 보낼 수 있습니다. 예시 기본값은 0.05이며, 0.1 임계값으로 4.000에서 2.750으로의 회귀를 감지합니다.

ADK 프로젝트의 eval optimize는 GEPA 프레임워크로 프롬프트 변형을 만들고 점수를 매겨, 점수가 높은 변형을 보존한 뒤 사람이 검토하도록 후보 순위를 정합니다. LangChain 확장에서는 지원되지 않습니다. 최적화 과정에서는 도구, 에이전트 구조와 모델을 고정하고 프롬프트만 변경합니다. 프롬프트가 지표의 표현에 과도하게 맞춰져 더 높은 점수를 받을 수 있으므로, 후보 프롬프트를 실제 적용하기 전에 사람이 검토해야 한다고 저자들은 경고합니다.

Google Cloud 제품 관리자 피에르 파올로 이폴리토(Pier Paolo Ippolito)와 솔루션 전문가 엘리아 세키(Elia Secchi)는 2026년 10월 28일 Agents CLI 평가 명령으로 에이전트 동작을 시험하고 변경 사항을 비교하며 회귀를 추적하고 예약 검사를 실행하는 안내서를 공개했습니다. 워크플로는 Agents CLI v1.8.0의 LangChain 템플릿과 인사, 샌프란시스코·로마 날씨 질문, 2024년 월드 시리즈에 관한 엉뚱한 질문 등 4개 사례 데이터셋으로 시작합니다. 맞춤형 지표는 gemini-3.8-flash를 평가자로 사용해 정확성·관련성·명확성을 1~5점으로 채점합니다.

기준 점수는 유효 사례 4개에서 평균 4.0000, 표준편차 1.4142였습니다. 회귀를 보여주기 위해 날씨 에이전트의 유용한 시스템 프롬프트를 셰프 페르소나로 바꾸자 평균은 2.7500, 표준편차는 0.9574로 낮아졌습니다. 1~5점 척도에서 1.25점 하락한 결과입니다. 3개 사례의 점수가 낮아지고 1개는 같았습니다. 인사는 5.0에서 4.0으로, 샌프란시스코 날씨는 4.0에서 2.0으로, 엉뚱한 질문은 5.0에서 3.0으로 하락했고, 로마 날씨는 2.0을 유지했습니다. 샌프란시스코 사례에서 에이전트는 등록된 날씨 도구를 사용하지 않고 날씨를 지어냈습니다.

안내서는 eval compare가 사례별 결과와 요약 점수를 함께 보여줘 변경이 어조, 도구 사용 또는 답변 범위에 미친 영향을 파악하도록 돕는다고 설명합니다. 별도의 모델 백엔드 실험에서는 gemini-3.8-flash를 gemini-2.5-flash로 바꾸자 평균이 4.00에서 2.75로 낮아졌습니다. 인사 점수는 5.0, 로마 날씨는 2.0으로 유지됐습니다. 샌프란시스코 날씨는 4.0에서 3.0으로, 엉뚱한 질문은 5.0에서 1.0으로 하락했습니다. 글은 후자의 결과가 해당 사건이 아직 일어나지 않았다는 이유로 모델이 거부했고 평가자가 이를 낮게 채점한 데서 비롯됐다고 설명합니다. 평균만 보면 모델 교체가 셰프 프롬프트 회귀만큼 나빠 보이지만, 사례별 결과는 다릅니다. 모델별로 조정된 프롬프트를 고려하고 평가자 모델은 그대로 유지해야 하며, 평가자 변경은 별도 실험으로 다뤄야 한다고 안내합니다.

Agents CLI에는 스케줄러가 내장돼 있지 않지만, 평가 명령은 cron 또는 Cloud Scheduler로 실행하고 결과를 영구 저장소에 보관할 수 있습니다. 안내서는 모델 업데이트, 도구 데이터와 바뀌는 의존성으로 인한 동작 변화를 포착하도록 안정적인 회귀 데이터셋을 대상으로 야간 검사를 권합니다. 예약 검사 데이터셋은 보통 수십~수백 개 사례를 포함하며, 빠른 개발 과정에서 쓰는 몇 개 사례보다 규모가 큽니다. 실행 결과의 평균을 기준선과 비교하는 래퍼를 사용하면 하락 폭이 임계값을 넘을 때 알림을 보낼 수 있습니다. 예시 기본값은 0.05이며, 0.1 임계값으로 4.000에서 2.750으로의 회귀를 감지합니다.

ADK 프로젝트의 eval optimize는 GEPA 프레임워크로 프롬프트 변형을 만들고 점수를 매겨, 점수가 높은 변형을 보존한 뒤 사람이 검토하도록 후보 순위를 정합니다. LangChain 확장에서는 지원되지 않습니다. 최적화 과정에서는 도구, 에이전트 구조와 모델을 고정하고 프롬프트만 변경합니다. 프롬프트가 지표의 표현에 과도하게 맞춰져 더 높은 점수를 받을 수 있으므로, 후보 프롬프트를 실제 적용하기 전에 사람이 검토해야 한다고 저자들은 경고합니다.