에임인텔리전스, 업무 맥락 기반 에이전트 보안 제언
- •에임인텔리전스, AI 에이전트 행동을 전체 업무 맥락에서 통제해야 한다고 제언
- •섀도우 AI와 연결 데이터·도구를 식별하고 권한·실행 과정을 추적하는 보안체계 제시
- •스타포트에 실시간 가드레일·실행 추적·문서 반출 검사·통신 차단 기능 통합
에임인텔리전스는 기업 AI 에이전트의 데이터·도구 사용과 에이전트 간 상호작용을 확인하고 실제 행동을 통제해야 한다고 밝혔습니다. 이한울 디펜스 시큐리티 부문장은 개별 행동이 허용된 범위인지뿐 아니라 전체 업무 맥락에서 적절한지도 판단해야 한다고 말했습니다. 모델 성능의 발전 속도에 비해 통제 기술은 늦게 발전하고 있으며, 위험은 사람이 악의적이거나 실수로 잘못된 지시를 내리는 경우와 에이전트가 목표를 수행하다 허용 범위를 넘거나 보안장치를 우회하는 경우로 나뉜다고 설명했습니다.
에임인텔리전스는 AI 자산 식별부터 실행 추적, 권한과 행동의 실시간 통제, 사고 대응까지 잇는 보안체계를 제시했습니다. 기업은 먼저 직원 개인 계정으로 쓰는 외부 서비스나 자체 개발 도구 등 공식 관리 밖의 ‘섀도우 AI’를 찾아야 합니다. 모델뿐 아니라 연결된 외부 도구와 데이터, 메모리, 모델 컨텍스트 프로토콜(MCP) 서버도 파악해야 합니다. 한 고객사는 보안체계를 적용하며 경영진 예상보다 많은 에이전트를 발견했습니다. 회사는 AI 유입 경로를 직원의 외부 서비스 이용, 사내 플랫폼 구축, 고객 제공 서비스 세 가지로 구분했습니다. 각 환경에는 기밀 유출, 데이터 권한과 오남용, 악의적 프롬프트와 허용되지 않은 행동 통제 등 서로 다른 위험이 있으며, 새 에이전트나 도구 연결 때 관리 현황을 갱신해야 합니다.
여러 에이전트가 협업할 때 상위 에이전트가 하위 에이전트에 권한을 불필요하게 넘기지 않도록 해야 합니다. 이 부문장은 각 에이전트가 맡은 일에 필요한 최소 권한만 가져야 하며, 상위 에이전트의 인증 토큰이나 비밀번호를 하위 에이전트에 그대로 전달해서는 안 된다고 말했습니다. 권한이 있어도 특정 업무에서 도구를 호출하는 것이 적절한지는 별도 판단이 필요합니다. 에임인텔리전스는 입력, 조회 데이터, 도구 호출 시점과 작업 간 연관성을 기록·분석하는 옵저버빌리티(실행 과정을 기록하고 분석하는 기술)를 강조했습니다. 최초 지시와 API 호출 이유까지 맥락에서 확인해야 한다는 설명입니다.
회사는 사전 규칙으로 금지된 네트워크나 시스템 접근을 막는 정적 보안과, 현재 업무 및 앞선 작업을 바탕으로 행동을 판단하는 동적 보안을 함께 적용한다고 밝혔습니다. 모든 기록을 매번 분석하면 처리 시간과 연산 비용이 늘 수 있어 위험도에 따라 검사를 여러 단계로 나눕니다. 외부 데이터나 도구 설명, MCP 서버 설명, 스킬과 메모리에 숨은 명령을 AI가 정상 지시로 받아들이는 간접 프롬프트 인젝션을 먼저 탐지합니다. 명확히 금지된 접근과 도구 실행은 차단하고, 추가 판단이 필요한 호출은 이전 실행 기록과 업무 맥락을 분석합니다.
에임인텔리전스는 입력·출력, 검색·대화, 도구 실행에 보안 정책을 적용하는 AI 보안 플랫폼 스타포트를 개발했습니다. 구성요소 가디언은 실시간 가드레일로 프롬프트 인젝션, 민감정보 유출, 정책 위반과 도구·MCP 연결을 검사합니다. 옵티콘은 실행 흐름을 기록·추적하고, 스트래텀은 외부 전달 문서를 분류하고 반출을 검사합니다. 이 기능은 직원 PC와 AI 서비스 사이, 기업 AI 애플리케이션, API, 프록시 서버 등에 적용할 수 있습니다. 프로젝트와 조직 단위로 AI 통신을 차단하는 킬 스위치도 지원합니다.
회사는 공격 시나리오로 AI 모델과 시스템의 취약점을 시험하는 레드티밍 도구 스팅어를 운영합니다. 시험에서 확인한 공격 유형은 가디언의 방어 정책과 탐지 개선에 활용합니다. 공격과 방어를 함께 시험하는 퍼플티밍을 통해 새로운 공격 기법을 방어 기술에 반영한다는 설명입니다. 출시 전 취약점 점검만으로 운영 중 위험이 사라지지 않으며, 연결 도구와 데이터, 실행 범위가 바뀔 때 새로운 위험이 생길 수 있어 지속적인 시험과 정책 보완이 필요하다고 밝혔습니다.
사람이 모든 작업을 최종 승인하는 방식도 충분한 해법은 아니라고 이 부문장은 말했습니다. 승인 요청이 많아지면 사람이 배경과 영향을 살피지 않고 승인할 수 있으므로, 어떤 작업을 언제 누구에게 승인받을지 정하고 기업이 중요한 업무를 먼저 정의해야 한다는 설명입니다. 에이전트에 맡길 일과 사람의 승인이 필요한 일을 구분하고, 승인권자가 판단에 필요한 정보를 확인할 수 있어야 합니다. 금융권은 데이터 유출 방지와 감사 기록 등 규제 준수 기능을, AI 활용이 활발한 기술기업은 실행 과정의 운영 위험 통제를 상대적으로 많이 요구한다고 회사는 전했습니다.
에임인텔리전스는 국내 기업 다수가 아직 전사적 에이전트 오케스트레이션 단계에 이르지 않았고, 사내 데이터와 권한체계를 먼저 정비해야 하는 곳도 있다고 설명했습니다. 다만 에이전트 연결 시스템을 정하는 단계부터 신원, 권한, 실행 범위와 사고 대응 기준을 마련해야 한다고 조언했습니다. 이 부문장은 에이전트의 활동 환경이 PC와 업무용 소프트웨어에서 휴대전화, 증강현실(AR) 기기, 로봇 등으로 넓어질 수 있다고 전망했습니다. 회사가 제시한 보안 체계는 사용 중인 AI를 찾아내고 실행을 추적해, 기록과 업무 맥락을 바탕으로 행동의 적절성을 판단하는 방식입니다.
가장 빠르고 정확한 AI 소식, 이메일로 받아보세요