상하이교통대학교(Shanghai Jiao Tong University)의 웨이 저우(Wei Zhou)가 이끄는 연구팀은 6월 23일 LLM 에이전트의 메모리 시스템 평가를 위한 새로운 분석 프레임워크를 공개했다. 연구진은 기존 평가 방식이 F1, BLEU 등 결과 지표에만 의존해 메모리를 단일한 블랙박스로 취급한다고 지적했다. 이에 따라 메모리 시스템을 메모리 표현 및 저장, 추출, 검색 및 라우팅, 유지보수라는 4개의 핵심 모듈로 세분화했다.

연구팀은 12개 주요 메모리 시스템과 2개 베이스라인을 11개 데이터셋 기반의 5개 벤치마크 워크로드로 평가했다. 실험 결과, 특정 워크로드 병목 현상을 해결하는 구조에 따라 성능이 결정되며 모든 시나리오를 아우르는 단일 구조는 존재하지 않았다. 세밀한 'Ablation study'를 통해 표현 충실도, 검색 정밀도, 업데이트 정확성 및 장기적 안정성에 미치는 모듈별 영향을 정량화했다. 특히 국소적 유지보수 전략이 전체 데이터 재구성보다 비용 효율적이라는 사실을 밝혀냈다. 이번 연구 결과와 관련 소스코드는 깃허브(GitHub)의 MemoryData 저장소에서 확인할 수 있다.

상하이교통대학교(Shanghai Jiao Tong University)의 웨이 저우(Wei Zhou)가 이끄는 연구팀은 6월 23일 LLM 에이전트의 메모리 시스템 평가를 위한 새로운 분석 프레임워크를 공개했다. 연구진은 기존 평가 방식이 F1, BLEU 등 결과 지표에만 의존해 메모리를 단일한 블랙박스로 취급한다고 지적했다. 이에 따라 메모리 시스템을 메모리 표현 및 저장, 추출, 검색 및 라우팅, 유지보수라는 4개의 핵심 모듈로 세분화했다.

연구팀은 12개 주요 메모리 시스템과 2개 베이스라인을 11개 데이터셋 기반의 5개 벤치마크 워크로드로 평가했다. 실험 결과, 특정 워크로드 병목 현상을 해결하는 구조에 따라 성능이 결정되며 모든 시나리오를 아우르는 단일 구조는 존재하지 않았다. 세밀한 'Ablation study'를 통해 표현 충실도, 검색 정밀도, 업데이트 정확성 및 장기적 안정성에 미치는 모듈별 영향을 정량화했다. 특히 국소적 유지보수 전략이 전체 데이터 재구성보다 비용 효율적이라는 사실을 밝혀냈다. 이번 연구 결과와 관련 소스코드는 깃허브(GitHub)의 MemoryData 저장소에서 확인할 수 있다.