푸단대학교를 비롯한 여러 기관의 연구진은 10월 14일 멀티모달 에이전트가 장기간 학습하며 기억을 형성하고 표현·관리하는 방식을 설명하는 설문 연구를 발표했습니다. 연구진은 여러 종류의 복잡한 데이터에서 유용한 정보를 보존하고, 세션이 바뀌어도 기억의 연속성을 유지하며, 변화하는 사용자와 환경에 대응하는 과제를 다루기 위해 두 축의 틀을 제안했습니다. 논문은 아카이브에 제출됐습니다.

첫 번째 축인 ‘형성과 표현’은 어떤 정보를 남기고 어떻게 부호화할지를 설명합니다. 예를 들어 특정 데이터 유형을 수치로 나타낸 모달리티별 임베딩, 텍스트 또는 구조화된 기록, 잠재 표현이나 매개변수 표현이 포함됩니다. 이런 표현은 이후의 추론과 행동을 지원하도록 설계됩니다. 두 번째 축인 ‘기억 관리’는 시스템을 세 단계로 나눕니다. T1 정적 기억은 고정된 기억을 재사용하고, T2 동적 기억은 안정된 정책에 따라 기억을 갱신하며, T3 자기 진화형 기억은 시간이 지나면서 바뀌는 정책으로 기억을 갱신합니다.

연구진은 저장된 내용을 갱신하는 일과 그 내용을 관리하는 정책을 개선하는 일을 구분합니다. 연구는 원천 정보에 대한 충실성과 추상화의 균형, 시간에 따른 유효성 및 데이터 프로버넌스(정보의 출처를 추적하는 기록) 보존, 회수 가능한 근거에 기반한 기억 활용, 경험에 따른 관리 정책의 진화를 위한 설계 원칙을 종합했습니다. 또한 멀티모달 에이전트의 기억 인프라, 평가 벤치마크, 응용 분야와 미해결 과제도 다룹니다.

푸단대학교를 비롯한 여러 기관의 연구진은 10월 14일 멀티모달 에이전트가 장기간 학습하며 기억을 형성하고 표현·관리하는 방식을 설명하는 설문 연구를 발표했습니다. 연구진은 여러 종류의 복잡한 데이터에서 유용한 정보를 보존하고, 세션이 바뀌어도 기억의 연속성을 유지하며, 변화하는 사용자와 환경에 대응하는 과제를 다루기 위해 두 축의 틀을 제안했습니다. 논문은 아카이브에 제출됐습니다.

첫 번째 축인 ‘형성과 표현’은 어떤 정보를 남기고 어떻게 부호화할지를 설명합니다. 예를 들어 특정 데이터 유형을 수치로 나타낸 모달리티별 임베딩, 텍스트 또는 구조화된 기록, 잠재 표현이나 매개변수 표현이 포함됩니다. 이런 표현은 이후의 추론과 행동을 지원하도록 설계됩니다. 두 번째 축인 ‘기억 관리’는 시스템을 세 단계로 나눕니다. T1 정적 기억은 고정된 기억을 재사용하고, T2 동적 기억은 안정된 정책에 따라 기억을 갱신하며, T3 자기 진화형 기억은 시간이 지나면서 바뀌는 정책으로 기억을 갱신합니다.

연구진은 저장된 내용을 갱신하는 일과 그 내용을 관리하는 정책을 개선하는 일을 구분합니다. 연구는 원천 정보에 대한 충실성과 추상화의 균형, 시간에 따른 유효성 및 데이터 프로버넌스(정보의 출처를 추적하는 기록) 보존, 회수 가능한 근거에 기반한 기억 활용, 경험에 따른 관리 정책의 진화를 위한 설계 원칙을 종합했습니다. 또한 멀티모달 에이전트의 기억 인프라, 평가 벤치마크, 응용 분야와 미해결 과제도 다룹니다.