ACL 2026 논문, AI 기억 갱신 능력 시험하는 Memora 공개

ACL 2026 논문 발표에서 개인화 AI 에이전트가 오래된 기억을 갱신하거나 버리는지 평가하는 벤치마크 Memora가 공개됐습니다. ‘회상에서 망각으로’의 저자들은 기존 평가가 주로 사실을 떠올리는 능력을 측정한다고 지적합니다. LoCoMo 질문의 94%, LongMemEval 질문의 85%는 과거 대화 최대 2회분으로 답할 수 있으며, 주요 벤치마크의 질문당 대화 이력은 평균 약 1회분입니다. LongMemEval은 평가 전 지식 갱신을 최대 2회 허용하고, PersonaMem은 최대 3회 대화에 걸친 변화만 시험합니다.

Memora는 10명의 직업 페르소나를 주간·월간·분기별 이력에 배치해 모의하며, 페르소나당 대화 횟수는 각각 평균 약 155회, 615회, 1,991회이고 회당 약 16개 발화로 구성됩니다. 분기별 설정에서 각 페르소나의 기억에는 평균 약 1,171건의 작업이 발생하며, 63%는 추가, 18%는 갱신, 19%는 삭제입니다. 어떤 사실이 여전히 유효한지 명시적 기록으로 추적합니다. 벤치마크는 사실 회상, 기억 간 추론, 현재 선호에 따른 추천을 평가합니다. 오래된 사실에 불이익을 주면서 정확성도 측정하는 FAMA 점수는 필요한 정보와 배제해야 할 정보를 모두 확인합니다. 언어 모델 심사자 3명은 인간 주석자와 88.3%의 비율로 일치했습니다.

연구진은 대화 이력을 직접 읽는 언어 모델 4종을 추론 토큰 사용 여부에 따라 시험했고, GPT-4o-mini로 답변하는 전용 기억 에이전트 6종도 평가했습니다. 기억 에이전트는 같은 소형 모델을 기반으로 하므로, 결과는 동일한 모델 성능 조건에서 기억 시스템끼리 비교한 것이며 기억 기능 유무를 같은 모델 강도로 비교한 것은 아닙니다. 세 가지 시간 설정의 FAMA 점수를 합산하면 최대 300점이며, 백분율이 아니라 상대 점수로 해석해야 합니다. 기억 에이전트의 회상 점수는 119.5점으로 언어 모델의 65.7점보다 거의 2배 높았습니다. 추천에서는 일반 언어 모델이 144.7~153.3점, 기억 에이전트가 138.4점을 받았습니다. 저자들은 페르소나 단서에서 대략적인 선호를 추론해 추천할 수 있다고 설명합니다.

추론 점수는 모든 시스템에서 낮았습니다. 기억 에이전트 평균은 가장 높은 27.6점이었고, 언어 모델은 12.4~13.9점이었습니다. 표본을 수동 검토한 결과 추론 오류는 모두 일부 정보만 검색한 뒤 답한 경우였으며, 추론 토큰은 큰 차이를 만들지 않았습니다. 연구진의 사례에서는 에이전트가 기록된 지출 뒤 남은 금액을 계산하지 않고 사용자가 “예산 범위 안”이라고 답했습니다.

대화 이력이 길어질 때 오래된 기억으로 인한 감점은 시스템별로 반대 방향으로 움직였습니다. 원시 대화 이력을 읽는 언어 모델은 오래된 대화가 컨텍스트 윈도에서 밀려나면서 주간 설정 32.6점에서 분기별 설정 17.8점으로 감점이 줄었습니다. 기억 에이전트는 저장소에 이력이 쌓이면서 감점이 18.2점에서 29.5점으로 커졌습니다. 월간 설정의 단순 기억 정확도에서는 MemoryOS가 112.8점, A-Mem이 112.0점으로 Nemori의 105.4점보다 높았습니다. 그러나 망각 감점은 Nemori가 15.4점으로, MemoryOS의 28.4점과 A-Mem의 29.5점보다 낮아 FAMA에 오래된 기억이 반영되면 Nemori가 앞섰습니다. 표본 추천 오류의 64%는 무효화되지 않은 오래된 기억과 관련됐습니다. 한 사례에서 사용자가 비소설 선호에서 현대 소설 선호로 바꿨는데도 에이전트는 과거 선호를 따라 역사 전기를 추천했습니다.

저자들은 기억 갱신을 과거 사실의 교체로 처리하고, 정정과 삭제를 포함해 에이전트를 시험하며, 제외해야 할 정보에도 점수를 매기라고 권고합니다. 또한 기억 기능이 추론 문제까지 해결할 것으로 기대해서는 안 된다고 말합니다. 대화가 실제 사용자에게서 수집되지 않고 언어 모델로 생성됐으며, 기억 에이전트 6종 모두 GPT-4o-mini를 사용했고, 평가가 3자 투표와 인간 일치도 연구를 거친 언어 모델 심사자에 의존했다는 한계도 밝혔습니다. 벤치마크는 10개 페르소나와 선호·활동·목표의 세 기억 유형을 다뤘습니다. 저자들은 실제 상호작용에는 모호함과 모순이 더해지므로 합성 데이터 결과를 하한선으로 설명합니다.

ACL 2026 논문 발표에서 개인화 AI 에이전트가 오래된 기억을 갱신하거나 버리는지 평가하는 벤치마크 Memora가 공개됐습니다. ‘회상에서 망각으로’의 저자들은 기존 평가가 주로 사실을 떠올리는 능력을 측정한다고 지적합니다. LoCoMo 질문의 94%, LongMemEval 질문의 85%는 과거 대화 최대 2회분으로 답할 수 있으며, 주요 벤치마크의 질문당 대화 이력은 평균 약 1회분입니다. LongMemEval은 평가 전 지식 갱신을 최대 2회 허용하고, PersonaMem은 최대 3회 대화에 걸친 변화만 시험합니다.

Memora는 10명의 직업 페르소나를 주간·월간·분기별 이력에 배치해 모의하며, 페르소나당 대화 횟수는 각각 평균 약 155회, 615회, 1,991회이고 회당 약 16개 발화로 구성됩니다. 분기별 설정에서 각 페르소나의 기억에는 평균 약 1,171건의 작업이 발생하며, 63%는 추가, 18%는 갱신, 19%는 삭제입니다. 어떤 사실이 여전히 유효한지 명시적 기록으로 추적합니다. 벤치마크는 사실 회상, 기억 간 추론, 현재 선호에 따른 추천을 평가합니다. 오래된 사실에 불이익을 주면서 정확성도 측정하는 FAMA 점수는 필요한 정보와 배제해야 할 정보를 모두 확인합니다. 언어 모델 심사자 3명은 인간 주석자와 88.3%의 비율로 일치했습니다.

연구진은 대화 이력을 직접 읽는 언어 모델 4종을 추론 토큰 사용 여부에 따라 시험했고, GPT-4o-mini로 답변하는 전용 기억 에이전트 6종도 평가했습니다. 기억 에이전트는 같은 소형 모델을 기반으로 하므로, 결과는 동일한 모델 성능 조건에서 기억 시스템끼리 비교한 것이며 기억 기능 유무를 같은 모델 강도로 비교한 것은 아닙니다. 세 가지 시간 설정의 FAMA 점수를 합산하면 최대 300점이며, 백분율이 아니라 상대 점수로 해석해야 합니다. 기억 에이전트의 회상 점수는 119.5점으로 언어 모델의 65.7점보다 거의 2배 높았습니다. 추천에서는 일반 언어 모델이 144.7~153.3점, 기억 에이전트가 138.4점을 받았습니다. 저자들은 페르소나 단서에서 대략적인 선호를 추론해 추천할 수 있다고 설명합니다.

추론 점수는 모든 시스템에서 낮았습니다. 기억 에이전트 평균은 가장 높은 27.6점이었고, 언어 모델은 12.4~13.9점이었습니다. 표본을 수동 검토한 결과 추론 오류는 모두 일부 정보만 검색한 뒤 답한 경우였으며, 추론 토큰은 큰 차이를 만들지 않았습니다. 연구진의 사례에서는 에이전트가 기록된 지출 뒤 남은 금액을 계산하지 않고 사용자가 “예산 범위 안”이라고 답했습니다.

대화 이력이 길어질 때 오래된 기억으로 인한 감점은 시스템별로 반대 방향으로 움직였습니다. 원시 대화 이력을 읽는 언어 모델은 오래된 대화가 컨텍스트 윈도에서 밀려나면서 주간 설정 32.6점에서 분기별 설정 17.8점으로 감점이 줄었습니다. 기억 에이전트는 저장소에 이력이 쌓이면서 감점이 18.2점에서 29.5점으로 커졌습니다. 월간 설정의 단순 기억 정확도에서는 MemoryOS가 112.8점, A-Mem이 112.0점으로 Nemori의 105.4점보다 높았습니다. 그러나 망각 감점은 Nemori가 15.4점으로, MemoryOS의 28.4점과 A-Mem의 29.5점보다 낮아 FAMA에 오래된 기억이 반영되면 Nemori가 앞섰습니다. 표본 추천 오류의 64%는 무효화되지 않은 오래된 기억과 관련됐습니다. 한 사례에서 사용자가 비소설 선호에서 현대 소설 선호로 바꿨는데도 에이전트는 과거 선호를 따라 역사 전기를 추천했습니다.

저자들은 기억 갱신을 과거 사실의 교체로 처리하고, 정정과 삭제를 포함해 에이전트를 시험하며, 제외해야 할 정보에도 점수를 매기라고 권고합니다. 또한 기억 기능이 추론 문제까지 해결할 것으로 기대해서는 안 된다고 말합니다. 대화가 실제 사용자에게서 수집되지 않고 언어 모델로 생성됐으며, 기억 에이전트 6종 모두 GPT-4o-mini를 사용했고, 평가가 3자 투표와 인간 일치도 연구를 거친 언어 모델 심사자에 의존했다는 한계도 밝혔습니다. 벤치마크는 10개 페르소나와 선호·활동·목표의 세 기억 유형을 다뤘습니다. 저자들은 실제 상호작용에는 모호함과 모순이 더해지므로 합성 데이터 결과를 하한선으로 설명합니다.