연구진 “에이전트 메모리, RAG보다 성능 낮을 수 있어”
- •일리노이대 연구진, 여러 벤치마크에서 전용 메모리 시스템이 단순 RAG 기준선보다 뒤처질 수 있다고 보고
- •논문, 대화 기록 직접 검색 대비 성능 향상을 ‘메모리 이득’, 증거 손실을 ‘메모리 비용’으로 정의
- •댓글 인용 LongMemEval-s 점수는 2회 RAG 81.4, MemOS 76.6, HippoRAG2 78.2
일리노이대 어배나-섐페인 연구진은 장기 작업을 수행하는 AI 에이전트용 전용 메모리 시스템 다수가 단순 검색 증강 생성(RAG) 기준선보다 낮은 성능을 보인다고 밝혔습니다. 연구진은 여러 벤치마크와 모델 백본에서 시스템을 평가했으며, 일부는 비용도 더 많이 든다고 설명했습니다. 논문은 10월 25일 공개됐고, 쉬안 허(Xuan He)가 10월 28일 Hugging Face에 제출했습니다.
연구진은 대화 원문 기록을 직접 검색하는 방식과 비교해 메모리의 순가치를 정의했습니다. 사실을 재구성하거나 선호를 추려 성능이 오르는 효과는 ‘메모리 이득’, 증거를 제거하거나 흐려 성능이 떨어지는 효과는 ‘메모리 비용’이라고 불렀습니다. 메모리 설계는 과제 성능을 높이는 데 목적이 있지만, 논문은 상대적으로 덜 연구된 비용과 시스템 설계·평가 선택이 비용을 만드는 방식을 살폈습니다.
논문 페이지 댓글에서 인용된 결과에 따르면, Qwen3.6-27B를 사용한 2회 RAG는 LongMemEval-s에서 81.4점을 받았습니다. MemOS는 76.6점, HippoRAG2는 78.2점이었습니다. 댓글 작성자는 사실 추적 결과도 인용했습니다. MemoryOS는 사실의 98.4%에서 손실이 없었지만, OpenViking의 표본 사실 가운데 38.0%는 대응하는 메모리 단위가 없었다는 내용입니다. 이 수치들은 논문 페이지 댓글에 제시됐습니다.
댓글은 GPT-5.6 Luna를 사용한 LightMem 비용 비교도 인용했습니다. 메모리 구축에는 기록 100건 기준 5.22M 토큰이 들었고, 기록당 약 52.2K 토큰이었습니다. 질의응답에는 0.09M 토큰이 사용돼 1회 RAG의 0.27M보다 적었으며, 질의당으로는 약 0.9K 대 2.7K 토큰이었습니다. 한 댓글 작성자는 기록당 약 29회 질의에서 토큰 비용이 역전된다고 추산했으며, 정확도는 LightMem 77%, RAG 82%라고 적었습니다. 저자들은 코드와 결과를 공개할 예정이며, 이 프레임워크가 메모리 설계와 평가에 도움이 되기를 바란다고 밝혔습니다.