최근 개최된 '라쿠텐 테크놀로지 컨퍼런스 2025'에서는 AI가 단순한 콘텐츠 생성을 넘어 자율적인 의사결정 단계로 진입함에 따라 변화하는 디지털 위협 지형을 집중 조명했다. 시스코 시스템즈(Cisco Systems)의 수석 아키텍트인 티주 존슨(Tiju Johnson)은 기조연설의 문을 열며 충격적인 장면을 연출했다. 실시간 화상 회의 참가자가 알고 보니 딥페이크로 구현된 가짜 인물임이 드러난 것이다. 이는 현대 AI가 이제 인간 고유의 영역이었던 사칭, 설득, 복잡한 협상까지 수행할 수 있음을 여실히 보여준다.

특히 기업들이 고객 응대를 위해 자율 시스템을 도입하면서 이에 따른 악용 위험도 함께 커지고 있다. 실제로 한 사용자가 AI 에이전트를 조작해 단 1달러에 자동차 매매 계약을 체결하도록 유도한 사례가 공유되기도 했다. 이러한 취약점은 인간에 대한 물리적·윤리적 피해를 방지하는 AI 안전성과, 데이터 오염이나 무단 접근으로부터 인프라를 보호하는 AI 보안의 차이를 명확히 인식해야 할 필요성을 시사한다.

이에 대응하여 라쿠텐의 사이버 보안 방어 부서는 '레드팀' 활동을 적극적으로 활용하고 있다. 레드팀은 공격을 시뮬레이션하여 프롬프트 인젝션과 같은 약점이 대중에 노출되기 전에 미리 식별하는 역할을 수행한다. 또한 라쿠텐은 AI 시스템과 외부 도구를 연결하는 모델 컨텍스트 프로토콜을 면밀히 모니터링 중이다. 서버가 침해될 경우 공격자가 에이전트의 행동을 장악할 수 있는 만큼, 보안이 AI 수명 주기의 모든 단계에 통합되어야 함을 강조했다.

최근 개최된 '라쿠텐 테크놀로지 컨퍼런스 2025'에서는 AI가 단순한 콘텐츠 생성을 넘어 자율적인 의사결정 단계로 진입함에 따라 변화하는 디지털 위협 지형을 집중 조명했다. 시스코 시스템즈(Cisco Systems)의 수석 아키텍트인 티주 존슨(Tiju Johnson)은 기조연설의 문을 열며 충격적인 장면을 연출했다. 실시간 화상 회의 참가자가 알고 보니 딥페이크로 구현된 가짜 인물임이 드러난 것이다. 이는 현대 AI가 이제 인간 고유의 영역이었던 사칭, 설득, 복잡한 협상까지 수행할 수 있음을 여실히 보여준다.

특히 기업들이 고객 응대를 위해 자율 시스템을 도입하면서 이에 따른 악용 위험도 함께 커지고 있다. 실제로 한 사용자가 AI 에이전트를 조작해 단 1달러에 자동차 매매 계약을 체결하도록 유도한 사례가 공유되기도 했다. 이러한 취약점은 인간에 대한 물리적·윤리적 피해를 방지하는 AI 안전성과, 데이터 오염이나 무단 접근으로부터 인프라를 보호하는 AI 보안의 차이를 명확히 인식해야 할 필요성을 시사한다.

이에 대응하여 라쿠텐의 사이버 보안 방어 부서는 '레드팀' 활동을 적극적으로 활용하고 있다. 레드팀은 공격을 시뮬레이션하여 프롬프트 인젝션과 같은 약점이 대중에 노출되기 전에 미리 식별하는 역할을 수행한다. 또한 라쿠텐은 AI 시스템과 외부 도구를 연결하는 모델 컨텍스트 프로토콜을 면밀히 모니터링 중이다. 서버가 침해될 경우 공격자가 에이전트의 행동을 장악할 수 있는 만큼, 보안이 AI 수명 주기의 모든 단계에 통합되어야 함을 강조했다.