아누팜 게바리야는 AI 에이전트의 메모리 역량을 평가하기 위해 설계된 오픈소스 테스트 프레임워크 Memeval을 공개했다. LangSmith나 Ragas와 같은 도구가 프롬프트 및 RAG(검색 증강 생성) 파이프라인 평가에 활용되지만, 기존 메모리 시스템은 표준화된 테스트 도구가 부족해 개발자들이 사용자 피드백을 통해서만 오류를 발견하는 경우가 많았다. Memeval은 이를 보완하기 위해 표준화된 YAML 기반 시나리오를 여러 메모리 백엔드에 실행함으로써 리콜 성능, 데이터 일관성, 프라이버시 문제를 식별한다.

이 프레임워크는 평가 환경과 다양한 제공업체(Mem0, Zep, Letta, LangGraph, CrewAI) 간의 인터페이스 역할을 하는 SMP(표준 메모리 프로토콜)를 사용한다. 상호작용을 표준화한 덕분에 개발자는 테스트 코드를 수정하지 않고도 서로 다른 메모리 아키텍처에 대해 동일한 지표를 측정할 수 있다. 도구에는 세션, 핵심 저장소, 수명 주기, 거버넌스, 운영 항목으로 분류된 30개의 내장 테스트 케이스가 포함되어 있다.

Memeval은 리콜 정확도, 관련성, 일관성(모순 탐지), 업데이트 전파, 망각 품질, 지연시간 및 비용, 프라이버시 격리라는 7가지 차원에서 성능을 평가한다. 특히 일관성 지표는 벡터 임베딩 기반 탐지 방식을 사용하여 저장된 사실 관계의 수치적 또는 구조적 모순을 찾아낸다. 시나리오가 실패할 경우, 시스템이 최신 정보 대신 구형 데이터를 검색했는지 등의 상세한 진단 결과를 제공한다.

벤치마크 결과에 따르면 각 업체는 메모리 작업을 서로 다르게 관리한다. Mem0은 LLM 기반 사실 추출을 통해 리콜 정확도를 높이지만, LLM 의존적인 쓰기 작업으로 인해 상대적으로 높은 지연시간이 발생한다. 반면 LangGraph는 완벽한 리콜과 업데이트 전파 성능을 보이지만 관련성 순위 측정에서는 약점을 드러냈고, Zep의 비동기 지식 그래프 처리 방식은 실시간 에이전트 성능에 영향을 줄 수 있다. 또한 Memeval은 ICLR 2025에서 발표된 롱 메모리 평가 벤치마크(LongMemEval)를 통합하여 다중 세션 대화에서 추출된 500개의 QA 쌍에 대한 검색 성능을 테스트한다. 해당 도구는 파이썬 패키지로 제공되며, 특정 어댑터 및 머신러닝 라이브러리를 선택적으로 추가할 수 있다.

아누팜 게바리야는 AI 에이전트의 메모리 역량을 평가하기 위해 설계된 오픈소스 테스트 프레임워크 Memeval을 공개했다. LangSmith나 Ragas와 같은 도구가 프롬프트 및 RAG(검색 증강 생성) 파이프라인 평가에 활용되지만, 기존 메모리 시스템은 표준화된 테스트 도구가 부족해 개발자들이 사용자 피드백을 통해서만 오류를 발견하는 경우가 많았다. Memeval은 이를 보완하기 위해 표준화된 YAML 기반 시나리오를 여러 메모리 백엔드에 실행함으로써 리콜 성능, 데이터 일관성, 프라이버시 문제를 식별한다.

이 프레임워크는 평가 환경과 다양한 제공업체(Mem0, Zep, Letta, LangGraph, CrewAI) 간의 인터페이스 역할을 하는 SMP(표준 메모리 프로토콜)를 사용한다. 상호작용을 표준화한 덕분에 개발자는 테스트 코드를 수정하지 않고도 서로 다른 메모리 아키텍처에 대해 동일한 지표를 측정할 수 있다. 도구에는 세션, 핵심 저장소, 수명 주기, 거버넌스, 운영 항목으로 분류된 30개의 내장 테스트 케이스가 포함되어 있다.

Memeval은 리콜 정확도, 관련성, 일관성(모순 탐지), 업데이트 전파, 망각 품질, 지연시간 및 비용, 프라이버시 격리라는 7가지 차원에서 성능을 평가한다. 특히 일관성 지표는 벡터 임베딩 기반 탐지 방식을 사용하여 저장된 사실 관계의 수치적 또는 구조적 모순을 찾아낸다. 시나리오가 실패할 경우, 시스템이 최신 정보 대신 구형 데이터를 검색했는지 등의 상세한 진단 결과를 제공한다.

벤치마크 결과에 따르면 각 업체는 메모리 작업을 서로 다르게 관리한다. Mem0은 LLM 기반 사실 추출을 통해 리콜 정확도를 높이지만, LLM 의존적인 쓰기 작업으로 인해 상대적으로 높은 지연시간이 발생한다. 반면 LangGraph는 완벽한 리콜과 업데이트 전파 성능을 보이지만 관련성 순위 측정에서는 약점을 드러냈고, Zep의 비동기 지식 그래프 처리 방식은 실시간 에이전트 성능에 영향을 줄 수 있다. 또한 Memeval은 ICLR 2025에서 발표된 롱 메모리 평가 벤치마크(LongMemEval)를 통합하여 다중 세션 대화에서 추출된 500개의 QA 쌍에 대한 검색 성능을 테스트한다. 해당 도구는 파이썬 패키지로 제공되며, 특정 어댑터 및 머신러닝 라이브러리를 선택적으로 추가할 수 있다.