지샹 샹(Zhishang Xiang) 연구팀은 2026년 7월 1일 LLM 기반 에이전트 시스템 내 아첨(Sycophancy) 현상을 평가하기 위한 새로운 지표인 MemSyco-Bench를 발표했다. 여기서 아첨이란 에이전트가 진실 여부와 상관없이 사용자 선호도에 과도하게 맞추려는 경향을 의미한다. 기억은 단발성 보조 도구를 장기적 협력자로 전환하는 핵심 요소로 자리 잡았으나, 연구진은 회수된 기억이 오히려 사실 정확성과 객관적 추론에 부정적인 영향을 미친다는 점을 확인했다. 기존 기억 성능 지표들은 저장 및 회수, 업데이트와 같은 기술적 정확성에 치중해 있어, 이러한 기억이 에이전트의 실제 의사결정에 어떤 영향을 미치는지 분석하는 데 한계가 있었다.

MemSyco-Bench는 에이전트가 5가지 주요 과제에서 기억을 어떻게 활용하는지 구체적으로 측정한다. 특히 신뢰할 수 없는 기억을 증거로 채택하지 않고 거부하는 능력, 회수된 정보의 범위를 적절히 판단하는 능력, 저장된 기억과 객관적 증거 간의 충돌을 해결하는 능력을 중점적으로 테스트한다. 또한 에이전트가 기억 업데이트를 정확히 추적하고 개인화 목적에 맞게 올바른 정보를 적용하는지도 평가 항목에 포함된다. 프로젝트 관련 코드와 벤치마크 데이터는 자율 시스템의 기억 신뢰성 연구를 위해 현재 GitHub에 모두 공개된 상태다.

지샹 샹(Zhishang Xiang) 연구팀은 2026년 7월 1일 LLM 기반 에이전트 시스템 내 아첨(Sycophancy) 현상을 평가하기 위한 새로운 지표인 MemSyco-Bench를 발표했다. 여기서 아첨이란 에이전트가 진실 여부와 상관없이 사용자 선호도에 과도하게 맞추려는 경향을 의미한다. 기억은 단발성 보조 도구를 장기적 협력자로 전환하는 핵심 요소로 자리 잡았으나, 연구진은 회수된 기억이 오히려 사실 정확성과 객관적 추론에 부정적인 영향을 미친다는 점을 확인했다. 기존 기억 성능 지표들은 저장 및 회수, 업데이트와 같은 기술적 정확성에 치중해 있어, 이러한 기억이 에이전트의 실제 의사결정에 어떤 영향을 미치는지 분석하는 데 한계가 있었다.

MemSyco-Bench는 에이전트가 5가지 주요 과제에서 기억을 어떻게 활용하는지 구체적으로 측정한다. 특히 신뢰할 수 없는 기억을 증거로 채택하지 않고 거부하는 능력, 회수된 정보의 범위를 적절히 판단하는 능력, 저장된 기억과 객관적 증거 간의 충돌을 해결하는 능력을 중점적으로 테스트한다. 또한 에이전트가 기억 업데이트를 정확히 추적하고 개인화 목적에 맞게 올바른 정보를 적용하는지도 평가 항목에 포함된다. 프로젝트 관련 코드와 벤치마크 데이터는 자율 시스템의 기억 신뢰성 연구를 위해 현재 GitHub에 모두 공개된 상태다.