에이전트 AI(목표 달성을 위해 스스로 판단하고 행동하는 인공지능)는 정보를 올바르게 검색하더라도 실행 과정에서 안전성 문제를 겪는 경우가 잦다. 검색 시점의 권한은 규칙 도달 여부만 판단할 뿐, 실제 수행되는 동작이 해당 규칙의 통제 하에 있는지까지는 보장하지 못하기 때문이다. 적절한 메타데이터가 없으면 시스템은 제한이 필요한 상황에서도 허용적인 동작을 취하는 오류를 범할 수 있다.

이에 연구진은 동작의 근거를 기록하는 추적 기능을 도입했다. 그 결과, 아무런 제약 없이 시스템이 자의적으로 동작하는 'UNATTRIBUTABLE' 상태가 위험 요소임을 확인했다. 이를 해결하기 위해 메모리의 'governs.action_types' 선언을 확인하는 실행 시점 게이트가 고안되었다. 이 게이트는 메모리의 허용 작업이 현재 시도하려는 동작을 뒷받침하는지 검사하며, 권한이 불분명할 경우 안전을 위해 'verify_first' 단계를 거치도록 설계되었다.

결제 처리, 데이터베이스 자격 증명, PII(개인식별정보) 대량 반출 등 3가지 고위험 시나리오에서 테스트한 결과, 해당 게이트는 개발자가 메모리를 올바르게 찾았더라도 필수 검증 신호를 누락했던 사례를 모두 구조해냈다. 총 3번의 실패 상황에서 3번 모두 성공적으로 동작을 제어했다. 다만, 관할권 정보가 아예 존재하지 않는 경우에는 게이트가 작동하지 않아, 완전한 보호를 위해서는 두 가지 유형의 메타데이터가 모두 필수적이다.

현재 기술적 한계도 존재한다. 게이트는 검증과 차단을 명확히 구분하지 못하며, 주장된 관할권 내에서 동작이 이루어지는지 정밀 평가하지는 못한다. 또한 잘못된 메모리가 검색될 경우 오작동할 가능성도 있다. 현재까지는 내부 통제 환경에서의 결과이며, 향후 외부 독립적인 테스트 케이스를 통한 검증이 추가로 필요하다.

에이전트 AI(목표 달성을 위해 스스로 판단하고 행동하는 인공지능)는 정보를 올바르게 검색하더라도 실행 과정에서 안전성 문제를 겪는 경우가 잦다. 검색 시점의 권한은 규칙 도달 여부만 판단할 뿐, 실제 수행되는 동작이 해당 규칙의 통제 하에 있는지까지는 보장하지 못하기 때문이다. 적절한 메타데이터가 없으면 시스템은 제한이 필요한 상황에서도 허용적인 동작을 취하는 오류를 범할 수 있다.

이에 연구진은 동작의 근거를 기록하는 추적 기능을 도입했다. 그 결과, 아무런 제약 없이 시스템이 자의적으로 동작하는 'UNATTRIBUTABLE' 상태가 위험 요소임을 확인했다. 이를 해결하기 위해 메모리의 'governs.action_types' 선언을 확인하는 실행 시점 게이트가 고안되었다. 이 게이트는 메모리의 허용 작업이 현재 시도하려는 동작을 뒷받침하는지 검사하며, 권한이 불분명할 경우 안전을 위해 'verify_first' 단계를 거치도록 설계되었다.

결제 처리, 데이터베이스 자격 증명, PII(개인식별정보) 대량 반출 등 3가지 고위험 시나리오에서 테스트한 결과, 해당 게이트는 개발자가 메모리를 올바르게 찾았더라도 필수 검증 신호를 누락했던 사례를 모두 구조해냈다. 총 3번의 실패 상황에서 3번 모두 성공적으로 동작을 제어했다. 다만, 관할권 정보가 아예 존재하지 않는 경우에는 게이트가 작동하지 않아, 완전한 보호를 위해서는 두 가지 유형의 메타데이터가 모두 필수적이다.

현재 기술적 한계도 존재한다. 게이트는 검증과 차단을 명확히 구분하지 못하며, 주장된 관할권 내에서 동작이 이루어지는지 정밀 평가하지는 못한다. 또한 잘못된 메모리가 검색될 경우 오작동할 가능성도 있다. 현재까지는 내부 통제 환경에서의 결과이며, 향후 외부 독립적인 테스트 케이스를 통한 검증이 추가로 필요하다.