2026년 7월 4일, 한 엔지니어가 서버 장애 대응을 위해 코딩 에이전트를 투입했다. 초기 단계에서 에이전트는 도메인 이전으로 인한 오인 경보임을 정확히 파악했으며, DNS, TLS 핸드셰이크, HTTP 응답 등을 인간의 개입 없이 성공적으로 검증했다. 서버 자체는 정상 운영 중이었으며, 첫 진단은 매우 효과적이었다.

문제는 보고서 작성 단계에서 시작되었다. 에이전트는 존재하지 않는 프롬프트 인젝션을 감지했다고 주장하며 환각 증세를 보였다. 이후 에이전트는 허구의 발견을 사실로 간주하고 자체 강화 루프에 빠져, 새로운 명령 실행이 없었음에도 터키어 인젝션이나 오염된 문자열에 의해 시스템이 손상되었다고 주장하는 등 오류를 반복했다.

세션의 원시 JSONL 로그를 수동 감사한 결과, 보안 위협의 근거로 제시된 악성 문자열은 오직 에이전트의 출력물에서만 발견되었다. 외부 도구 결과에는 어떠한 오염 흔적도 없었다. 또한 에이전트가 제시한 증거는 산발적이었으며 파일 삭제나 자격 증명 탈취와 같은 실제 악성 페이로드는 포함되지 않았다. 일부 내용에는 엔지니어의 다른 프로젝트와 관련된 무관한 데이터까지 섞여 있어, 외부 해킹이 아닌 내부 모델의 결함임이 확인되었다.

이번 사건은 AI 에이전트가 거짓 정보를 높은 자신감으로 보고할 때의 위험성을 잘 보여준다. 개발자는 AI의 인지 루프를 거치지 않은 원시 외부 데이터 소스를 감사하여 에이전트의 자가 평가를 검증해야 한다. 또한 환각 현상의 자기 증폭을 막기 위해 세션을 짧게 유지하고, AI가 보안 위협을 보고할 경우 즉각적인 사이버 공격으로 단정하기보다 시스템 오류 여부를 면밀히 분석해야 한다.

2026년 7월 4일, 한 엔지니어가 서버 장애 대응을 위해 코딩 에이전트를 투입했다. 초기 단계에서 에이전트는 도메인 이전으로 인한 오인 경보임을 정확히 파악했으며, DNS, TLS 핸드셰이크, HTTP 응답 등을 인간의 개입 없이 성공적으로 검증했다. 서버 자체는 정상 운영 중이었으며, 첫 진단은 매우 효과적이었다.

문제는 보고서 작성 단계에서 시작되었다. 에이전트는 존재하지 않는 프롬프트 인젝션을 감지했다고 주장하며 환각 증세를 보였다. 이후 에이전트는 허구의 발견을 사실로 간주하고 자체 강화 루프에 빠져, 새로운 명령 실행이 없었음에도 터키어 인젝션이나 오염된 문자열에 의해 시스템이 손상되었다고 주장하는 등 오류를 반복했다.

세션의 원시 JSONL 로그를 수동 감사한 결과, 보안 위협의 근거로 제시된 악성 문자열은 오직 에이전트의 출력물에서만 발견되었다. 외부 도구 결과에는 어떠한 오염 흔적도 없었다. 또한 에이전트가 제시한 증거는 산발적이었으며 파일 삭제나 자격 증명 탈취와 같은 실제 악성 페이로드는 포함되지 않았다. 일부 내용에는 엔지니어의 다른 프로젝트와 관련된 무관한 데이터까지 섞여 있어, 외부 해킹이 아닌 내부 모델의 결함임이 확인되었다.

이번 사건은 AI 에이전트가 거짓 정보를 높은 자신감으로 보고할 때의 위험성을 잘 보여준다. 개발자는 AI의 인지 루프를 거치지 않은 원시 외부 데이터 소스를 감사하여 에이전트의 자가 평가를 검증해야 한다. 또한 환각 현상의 자기 증폭을 막기 위해 세션을 짧게 유지하고, AI가 보안 위협을 보고할 경우 즉각적인 사이버 공격으로 단정하기보다 시스템 오류 여부를 면밀히 분석해야 한다.