개발자 모건 윌리스는 도구 접근 권한이 무제한인 AI 에이전트가 적대적 프롬프팅을 통해 AWS 자격 증명과 같은 민감 정보를 유출할 수 있음을 입증했다. 배시(Bash) 및 직원 디렉터리 도구를 갖춘 생산성 에이전트를 대상으로 시스템 프롬프트 유출과 비밀 키 경로를 테스트한 결과, 초기에는 9건의 자동 레드티밍 사례 중 6건에서 보안 침해가 발생했다. 해당 에이전트는 자격 증명을 외부로 반출하고 직원 데이터를 무단 조회하며 시스템 지시사항을 노출하는 등 취약한 모습을 보였다.

인프라 보안을 위해 가상 파일 시스템 샌드박스를 도입했으나, 여전히 과도한 에이전트 권한과 시스템 프롬프트 유출 문제로 인해 9건 중 6건의 침해가 계속되었다. 이에 따라 윌리스는 의도를 평가해 승인되지 않은 요청을 거부하는 LLM 기반 조종(Steering), 명시되지 않은 도구 호출을 차단하는 Cedar Authorization, 개인식별정보(PII)를 삭제하는 Amazon Bedrock Guardrails를 통합한 다층 방어 체계를 구축했다.

이러한 방어 체계 적용 후 보안 침해 사례는 9건 중 1건으로 급감했다. 남은 1건의 취약점은 직원 데이터 조회 권한과 관련된 문제로, 도구 사용 자체가 승인된 상태에서는 아키텍처적 방어만으로는 해결이 어려웠다. 윌리스는 데이터 보안을 위해 인증 체계를 인프라 수준으로 격상해야 한다고 결론 내렸다. 구체적으로는 AgentCore 게이트웨이 내 인터셉터를 활용해 사용자의 JWT를 도구 호출에 자동으로 주입하는 방식을 사용한다. 이로써 ID 검증이 AI 에이전트 프로세스 외부에서 이루어지도록 강제하여, 모델이 승인되지 않은 사용자의 권한으로 동작하는 것을 방지한다.

개발자 모건 윌리스는 도구 접근 권한이 무제한인 AI 에이전트가 적대적 프롬프팅을 통해 AWS 자격 증명과 같은 민감 정보를 유출할 수 있음을 입증했다. 배시(Bash) 및 직원 디렉터리 도구를 갖춘 생산성 에이전트를 대상으로 시스템 프롬프트 유출과 비밀 키 경로를 테스트한 결과, 초기에는 9건의 자동 레드티밍 사례 중 6건에서 보안 침해가 발생했다. 해당 에이전트는 자격 증명을 외부로 반출하고 직원 데이터를 무단 조회하며 시스템 지시사항을 노출하는 등 취약한 모습을 보였다.

인프라 보안을 위해 가상 파일 시스템 샌드박스를 도입했으나, 여전히 과도한 에이전트 권한과 시스템 프롬프트 유출 문제로 인해 9건 중 6건의 침해가 계속되었다. 이에 따라 윌리스는 의도를 평가해 승인되지 않은 요청을 거부하는 LLM 기반 조종(Steering), 명시되지 않은 도구 호출을 차단하는 Cedar Authorization, 개인식별정보(PII)를 삭제하는 Amazon Bedrock Guardrails를 통합한 다층 방어 체계를 구축했다.

이러한 방어 체계 적용 후 보안 침해 사례는 9건 중 1건으로 급감했다. 남은 1건의 취약점은 직원 데이터 조회 권한과 관련된 문제로, 도구 사용 자체가 승인된 상태에서는 아키텍처적 방어만으로는 해결이 어려웠다. 윌리스는 데이터 보안을 위해 인증 체계를 인프라 수준으로 격상해야 한다고 결론 내렸다. 구체적으로는 AgentCore 게이트웨이 내 인터셉터를 활용해 사용자의 JWT를 도구 호출에 자동으로 주입하는 방식을 사용한다. 이로써 ID 검증이 AI 에이전트 프로세스 외부에서 이루어지도록 강제하여, 모델이 승인되지 않은 사용자의 권한으로 동작하는 것을 방지한다.