연구진이 2026년 5월 12일 대규모 언어 모델을 위한 경량 메모리 메커니즘인 δ-mem을 발표했다. 이 시스템은 고정된 어텐션 백본에 소형 연상 메모리 상태를 추가하고, 어텐션 연산에 낮은 순위의 보정값을 제공하여 성능을 개선하는 원리다. 특히 이 방식은 과거 정보를 고정 크기의 상태 행렬로 압축하며, 델타 규칙 학습을 통해 이를 갱신한다. 8x8 온라인 메모리 상태를 적용한 결과, δ-mem은 고정된 백본 대비 평균 모델 점수를 1.10배, δ-mem을 제외한 가장 강력한 메모리 기반 모델보다는 1.15배 향상시켰다.

이 메커니즘은 메모리 사용량이 많은 벤치마크에서 특히 두각을 나타내며, MemoryAgentBench에서 1.31배, LoCoMo에서 1.20배의 성능 향상을 기록했다. 이러한 개선은 전체 모델 파인튜닝이나 백본 교체, 명시적인 컨텍스트 윈도우 확장 없이도 이루어진다. 이에 따라 장기 기억이 필요한 비서 프로그램이나 에이전트 시스템에서 효율적인 정보 축적 및 재사용이 가능해졌으며, 기존 모델이 가진 범용적인 능력 또한 그대로 보존된다.

연구진이 2026년 5월 12일 대규모 언어 모델을 위한 경량 메모리 메커니즘인 δ-mem을 발표했다. 이 시스템은 고정된 어텐션 백본에 소형 연상 메모리 상태를 추가하고, 어텐션 연산에 낮은 순위의 보정값을 제공하여 성능을 개선하는 원리다. 특히 이 방식은 과거 정보를 고정 크기의 상태 행렬로 압축하며, 델타 규칙 학습을 통해 이를 갱신한다. 8x8 온라인 메모리 상태를 적용한 결과, δ-mem은 고정된 백본 대비 평균 모델 점수를 1.10배, δ-mem을 제외한 가장 강력한 메모리 기반 모델보다는 1.15배 향상시켰다.

이 메커니즘은 메모리 사용량이 많은 벤치마크에서 특히 두각을 나타내며, MemoryAgentBench에서 1.31배, LoCoMo에서 1.20배의 성능 향상을 기록했다. 이러한 개선은 전체 모델 파인튜닝이나 백본 교체, 명시적인 컨텍스트 윈도우 확장 없이도 이루어진다. 이에 따라 장기 기억이 필요한 비서 프로그램이나 에이전트 시스템에서 효율적인 정보 축적 및 재사용이 가능해졌으며, 기존 모델이 가진 범용적인 능력 또한 그대로 보존된다.