에이전트 메모리의 핵심, 검색 증강 생성의 정교한 거절
- •모델이 부재 데이터에 대해 적절히 거절하지 못할 경우 에이전트 메모리 검색은 실패한다.
- •기존 RAG 지표는 순위 정확도에만 치중하여 에이전트가 답변할 수 없는 질의에도 환각을 유발한다.
- •줄리오 데르메(Giulio D'Erme)는 메모리 공백과 노후 데이터를 식별하는 오픈소스 엔진 RE-call을 공개했다.
문서 질의응답을 위해 설계된 검색 증강 생성(RAG) 시스템은 에이전트 메모리에 적용될 때 기술적 한계에 부딪힌다. 줄리오 데르메(Giulio D'Erme)가 '자기 회상(self-recall)'이라 명명한 이 영역은 일반적인 문서 검색과 다르다. 일반적인 문서 QA는 데이터 내에 답이 존재한다고 가정하고 검색 결과의 순위를 매기는 데 집중하지만, 에이전트 메모리는 답이 없는 질문을 빈번히 마주한다. 예를 들어 자동 매매 에이전트가 특정 전략의 과거 테스트 여부를 물을 때, 답이 없음에도 검색 모델은 통계적으로 유사한 문서를 강제로 제시하며 에이전트의 환각을 유발한다.
자기 회상은 데이터 공백으로 인한 환각, 이미 결정된 사항의 반복 검토, 과거 기록의 노후화 문제 등 세 가지 실패 모드를 발생시킨다. 이러한 문제는 MRR이나 nDCG와 같은 기존 순위 측정 지표가 검색 결과의 배열만을 우선시할 뿐, 시스템이 답을 모를 때 이를 인정하는 '정교한 거절(calibrated abstention)' 능력을 측정하지 못하기 때문에 발생한다. 결과적으로 표준 RAG 스택에 의존하는 에이전트 메모리는 불확실성을 식별하는 기제가 부족하여 운영 실패로 이어진다.
이를 해결하기 위해 데르메는 PostgreSQL과 pgvector를 활용한 에이전트 메모리 전용 오픈소스 검색 엔진 RE-call을 출시했다. 이 시스템은 약한 일치에 대한 공백 경고, 오래된 정보를 식별하는 최신성 신호, 과거 실패 결정의 반복을 방지하는 재심의 방지 확인이라는 세 가지 무결성 가드를 포함한다. 나아가 '허위 자신감 비율'이라는 새로운 지표를 통해 거절해야 할 상황에서 시스템이 실패하는 빈도를 측정한다. 해당 엔진은 모델 컨텍스트 프로토콜(MCP) 서버로 작동하며, 에이전트가 단순 순위 최적화 대신 신뢰할 수 있고 검증된 결과에 집중하며 자신의 과거 운영 이력을 직접 조회할 수 있게 돕는다.