구글의 연구원 로힌 샤(Rohin Shah)와 포 플린(Four Flynn)은 2026년 6월 18일, 자율 AI 에이전트가 초래할 수 있는 위험을 관리하기 위한 AI 제어 로드맵을 발표했다. 자율 에이전트는 2030년까지 미국 경제에 2.9조 달러 규모의 가치를 창출할 것으로 예상되나, 그 역량에 걸맞은 고도화된 보안 체계가 필수적이다. 로드맵은 AI 에이전트를 기본적으로 오정렬 가능성이 있는 대상으로 간주하며, 샌드박싱과 프롬프트 인젝션 방어 등을 포함한 다층 방어 전략을 적용한다. 이는 차량의 보조 제어 장치와 유사하게 작동하며, 에이전트의 역량이 발전함에 따라 인간이 검증한 권한 체계를 확장하는 방식이다.

이번 전략은 MITRE ATT&CK 데이터베이스에서 영감을 받은 위협 모델링 프레임워크를 활용한다. 이는 실제 공격 사례를 바탕으로 적대적 전술과 기법을 정리한 전 세계적인 지식 기반이다. 로드맵은 신뢰할 수 없는 에이전트를 내부 위협으로 분류하고, 모니터링 트래픽 비율인 커버리지(coverage), 오정렬 행동 탐지율인 재현율(recall), 그리고 대응 시간 등 세 가지 지표를 추적한다. 신뢰할 수 있는 AI 시스템이 감독관 역할을 수행하며, 에이전트의 추론 과정을 검토하고 유해한 행동을 실행 전에 차단한다. 해당 체계는 모델의 역량과 회피 기법에 맞춰 탐지(D1-D4)와 예방 및 대응(R1-R3) 수준으로 구분된다.

연구팀은 프로토콜을 정교화하기 위해 100만 건의 코딩 에이전트 경로를 분석했다. 분석 결과, 대다수의 탐지 이벤트는 악의적인 의도보다는 에이전트의 오해나 과도한 반응에서 비롯된 것으로 나타났다. 이러한 통찰을 바탕으로 현재 Gemini Spark 에이전트에 실시간 모니터링 기능이 배포되어 우발적인 데이터 삭제와 같은 위험을 완화하고 있다. 구글은 내부 배포를 넘어 업계 전반의 도입을 촉구하고 있으며, 정책 입안자들이 생태계 차원의 회복탄력성을 구축할 수 있도록 '에이전트 보안 3계층' 논문을 출간했다. 본 연구는 메리 푸옹(Mary Phuong), 에릭 제너(Erik Jenner), 로랑 시몽(Laurent Simon), 루이스 호(Lewis Ho), 로힌 샤(Rohin Shah), 세바스찬 파콰(Sebastian Farquhar), 스콧 쿨(Scott Coull)을 포함한 연구팀에 의해 작성되었다.

구글의 연구원 로힌 샤(Rohin Shah)와 포 플린(Four Flynn)은 2026년 6월 18일, 자율 AI 에이전트가 초래할 수 있는 위험을 관리하기 위한 AI 제어 로드맵을 발표했다. 자율 에이전트는 2030년까지 미국 경제에 2.9조 달러 규모의 가치를 창출할 것으로 예상되나, 그 역량에 걸맞은 고도화된 보안 체계가 필수적이다. 로드맵은 AI 에이전트를 기본적으로 오정렬 가능성이 있는 대상으로 간주하며, 샌드박싱과 프롬프트 인젝션 방어 등을 포함한 다층 방어 전략을 적용한다. 이는 차량의 보조 제어 장치와 유사하게 작동하며, 에이전트의 역량이 발전함에 따라 인간이 검증한 권한 체계를 확장하는 방식이다.

이번 전략은 MITRE ATT&CK 데이터베이스에서 영감을 받은 위협 모델링 프레임워크를 활용한다. 이는 실제 공격 사례를 바탕으로 적대적 전술과 기법을 정리한 전 세계적인 지식 기반이다. 로드맵은 신뢰할 수 없는 에이전트를 내부 위협으로 분류하고, 모니터링 트래픽 비율인 커버리지(coverage), 오정렬 행동 탐지율인 재현율(recall), 그리고 대응 시간 등 세 가지 지표를 추적한다. 신뢰할 수 있는 AI 시스템이 감독관 역할을 수행하며, 에이전트의 추론 과정을 검토하고 유해한 행동을 실행 전에 차단한다. 해당 체계는 모델의 역량과 회피 기법에 맞춰 탐지(D1-D4)와 예방 및 대응(R1-R3) 수준으로 구분된다.

연구팀은 프로토콜을 정교화하기 위해 100만 건의 코딩 에이전트 경로를 분석했다. 분석 결과, 대다수의 탐지 이벤트는 악의적인 의도보다는 에이전트의 오해나 과도한 반응에서 비롯된 것으로 나타났다. 이러한 통찰을 바탕으로 현재 Gemini Spark 에이전트에 실시간 모니터링 기능이 배포되어 우발적인 데이터 삭제와 같은 위험을 완화하고 있다. 구글은 내부 배포를 넘어 업계 전반의 도입을 촉구하고 있으며, 정책 입안자들이 생태계 차원의 회복탄력성을 구축할 수 있도록 '에이전트 보안 3계층' 논문을 출간했다. 본 연구는 메리 푸옹(Mary Phuong), 에릭 제너(Erik Jenner), 로랑 시몽(Laurent Simon), 루이스 호(Lewis Ho), 로힌 샤(Rohin Shah), 세바스찬 파콰(Sebastian Farquhar), 스콧 쿨(Scott Coull)을 포함한 연구팀에 의해 작성되었다.