연구진은 다중 사용자 환경에서 AI 에이전트의 공유 메모리 관리 능력을 평가하기 위한 벤치마크인 GateMem을 공개했다. 단일 사용자 환경을 상정하는 기존 벤치마크와 달리, GateMem은 병원, 직장, 학교, 가정과 같이 다수의 사용자가 공통 메모리 풀에 접근하는 기관 환경에서의 성능을 측정한다. 이러한 환경에서는 단순한 정보 회상을 넘어, 사용자별 권한 설정과 개인정보 보호를 위한 엄격한 거버넌스가 필수적이다.

GateMem은 장기적인 요청에 대한 유용성, 사용자 승인 기반의 접근 제어, 그리고 삭제 요청 후 정보를 안전하게 제거하는 액티브 포겟팅 등 세 가지 핵심 역량을 평가한다. 해당 벤치마크는 4개 도메인에 걸쳐 91개의 다중 사용자 에피소드와 2,218개의 비공개 평가 지점을 포함한다. 7개의 메모리 에이전트 베이스라인과 6개의 백본 모델을 대상으로 한 실험 결과, 현재 시스템은 이러한 요구 사항 간의 균형을 유지하는 데 한계를 보였다. 특히 롱 컨텍스트 프롬프팅은 우수한 거버넌스 성능을 제공하나 비용이 높다는 단점이 있으며, 검색 기반 방식이나 외부 메모리 방법은 비용은 저렴하지만 삭제되었거나 권한이 없는 정보가 유출될 위험이 존재한다.

연구진은 다중 사용자 환경에서 AI 에이전트의 공유 메모리 관리 능력을 평가하기 위한 벤치마크인 GateMem을 공개했다. 단일 사용자 환경을 상정하는 기존 벤치마크와 달리, GateMem은 병원, 직장, 학교, 가정과 같이 다수의 사용자가 공통 메모리 풀에 접근하는 기관 환경에서의 성능을 측정한다. 이러한 환경에서는 단순한 정보 회상을 넘어, 사용자별 권한 설정과 개인정보 보호를 위한 엄격한 거버넌스가 필수적이다.

GateMem은 장기적인 요청에 대한 유용성, 사용자 승인 기반의 접근 제어, 그리고 삭제 요청 후 정보를 안전하게 제거하는 액티브 포겟팅 등 세 가지 핵심 역량을 평가한다. 해당 벤치마크는 4개 도메인에 걸쳐 91개의 다중 사용자 에피소드와 2,218개의 비공개 평가 지점을 포함한다. 7개의 메모리 에이전트 베이스라인과 6개의 백본 모델을 대상으로 한 실험 결과, 현재 시스템은 이러한 요구 사항 간의 균형을 유지하는 데 한계를 보였다. 특히 롱 컨텍스트 프롬프팅은 우수한 거버넌스 성능을 제공하나 비용이 높다는 단점이 있으며, 검색 기반 방식이나 외부 메모리 방법은 비용은 저렴하지만 삭제되었거나 권한이 없는 정보가 유출될 위험이 존재한다.