Metis 연구진은 2026-08-01 날짜의 Hugging Face Papers 항목에 파운데이션 모델이 지속적이고 동적으로 진화하는 네이티브 메모리 상태를 갖도록 하는 memory foundation model을 공개했다. 이 논문은 시총 장(Xichong Zhang)이 Jul 31 제출했으며, 스크랩된 페이지 기준 #1 Paper of the day에 올랐고 205 upvotes를 기록했다. 저자 명단에는 제유 장(Zeyu Zhang), 쯔량 궈(Ziliang Guo), 이항 쑨(Yihang Sun), 시총 장(Xichong Zhang), 시쉬안 하오(Xixuan Hao), 저하오 린(Zehao Lin), 양 장(Yang Zhang), 샤오옌 자오(Xiaoyan Zhao), 통 선(Tong Shen), 보 탕(Bo Tang), 즈친 존 쉬(Zhi-Qin John Xu), 준치 옌(Junchi Yan), 하오펀 왕(Haofen Wang), 쉬 천(Xu Chen), 페이위 슝(Feiyu Xiong), 즈위 리(Zhiyu Li), 탓셍 추아(Tat-Seng Chua)가 이름을 올렸다.

연구진은 최근 AI 에이전트가 멀티모달 인식과 추론 같은 능력을 파운데이션 모델 안으로 옮겼지만, 에이전트 메모리는 여전히 외부 검색, 저장, 프롬프트 구성 파이프라인에 크게 의존한다고 설명했다. Metis는 메모리를 모델 자체의 네이티브 능력으로 다루는 memory foundation model 방식을 택한다. 논문은 네이티브 메모리를 2가지로 정식화했다. 하나는 모델 백본 내부의 지속적이고 동적으로 진화하는 메모리 상태이고, 다른 하나는 무엇을 저장하고 저장된 정보를 어떻게 사용할지 자율적으로 결정하는 네이티브 메모리 절차다.

Metis는 이 모델 계열의 첫 프로토타입으로 설명된다. 이 아키텍처는 파운데이션 모델에 네이티브 메모리 상태를 부여하고, 과거 정보를 모델 안에 압축하며, memory attention을 통해 그 정보에 접근한다. 논문 제출자의 커뮤니티 게시물에 따르면 각 Metis Block은 지속적 메모리 상태를 유지하는 Local Memory Block과 저장 및 사용 절차를 학습하는 Hyper Memory Block을 결합한다. 과거 정보는 작고 고정된 크기의 세션 상태로 압축되므로, 이후 질의는 원래 이력을 다시 재생하지 않고도 메모리를 사용할 수 있다.

프로젝트 개요는 Metis Block이 Transformer 층(어텐션을 쓰는 모델 층)에 삽입되며 2개 구성요소를 포함한다고 설명한다. Local Memory Block은 상호작용 단계 전반에 걸쳐 유지되는 동적 메모리 행렬과 정규화 상태를 관리한다. Hyper Memory Block은 토큰 선택, 메모리 키/값 프로젝션, 전용 메모리 쿼리, 상태 업데이트 절차를 학습한다. 각 메모리 단계 뒤 Metis는 정보성이 높은 은닉 상태를 선택해 로컬 메모리를 업데이트한다. 이후 질의 단계에서는 memory attention이 해당 상태를 읽고, 그 결과를 기존 어텐션 분기와 융합한다.

Metis는 기울기 계산 없는 메모리 유지 방식을 사용하며, 메모리 업데이트에는 순전파 계산만 필요하다. 추론 시점에는 학습된 모든 모델 가중치가 고정된 상태로 유지되고, 네이티브 메모리 상태만 표준 순전파 계산을 통해 바뀐다. 기본 구현은 Gated Delta Network 업데이트를 사용한다. Qwen3.5 하이브리드 구현은 Metis를 full-attention 층에 붙이고, linear-attention 층은 원래의 계산 경로를 유지한다.

연구진은 대규모 메모리 특화 학습 데이터를 구축했으며, 중간 학습 과정에서 네이티브 메모리 절차를 획득하기 위해 여러 최적화 목표를 사용했다고 밝혔다. Hugging Face 페이지에 따르면 구현체와 Qwen3.5 기반 체크포인트는 4B, 9B, 27B 규모로 공개됐다. 해당 페이지에는 GitHub 링크 옆 35, 논문을 인용한 3 models, 이를 인용한 0 datasets, 0 Spaces, 그리고 이를 포함한 3 collections도 표시됐다.

논문은 광범위한 실험을 통해 Metis가 네이티브 메모리 능력을 보였다고 보고했으며, 강점과 한계, 동작에 대한 분석도 제시했다. 로드맵은 네이티브 메모리를 상태 유지 능력에서 자기 관리 메모리, 경험 기반 학습, 지속적 인지, 최종적으로 자기 진화 능력으로 이어지는 흐름으로 설정한다. 논문 제출자는 또한 Metis가 초기 연구 시스템이며 외부 메모리를 완전히 대체하는 것은 아니라고 밝혔다. 하이브리드 네이티브-외부 메모리는 여전히 중요한 방향으로 남아 있다.

Metis 연구진은 2026-08-01 날짜의 Hugging Face Papers 항목에 파운데이션 모델이 지속적이고 동적으로 진화하는 네이티브 메모리 상태를 갖도록 하는 memory foundation model을 공개했다. 이 논문은 시총 장(Xichong Zhang)이 Jul 31 제출했으며, 스크랩된 페이지 기준 #1 Paper of the day에 올랐고 205 upvotes를 기록했다. 저자 명단에는 제유 장(Zeyu Zhang), 쯔량 궈(Ziliang Guo), 이항 쑨(Yihang Sun), 시총 장(Xichong Zhang), 시쉬안 하오(Xixuan Hao), 저하오 린(Zehao Lin), 양 장(Yang Zhang), 샤오옌 자오(Xiaoyan Zhao), 통 선(Tong Shen), 보 탕(Bo Tang), 즈친 존 쉬(Zhi-Qin John Xu), 준치 옌(Junchi Yan), 하오펀 왕(Haofen Wang), 쉬 천(Xu Chen), 페이위 슝(Feiyu Xiong), 즈위 리(Zhiyu Li), 탓셍 추아(Tat-Seng Chua)가 이름을 올렸다.

연구진은 최근 AI 에이전트가 멀티모달 인식과 추론 같은 능력을 파운데이션 모델 안으로 옮겼지만, 에이전트 메모리는 여전히 외부 검색, 저장, 프롬프트 구성 파이프라인에 크게 의존한다고 설명했다. Metis는 메모리를 모델 자체의 네이티브 능력으로 다루는 memory foundation model 방식을 택한다. 논문은 네이티브 메모리를 2가지로 정식화했다. 하나는 모델 백본 내부의 지속적이고 동적으로 진화하는 메모리 상태이고, 다른 하나는 무엇을 저장하고 저장된 정보를 어떻게 사용할지 자율적으로 결정하는 네이티브 메모리 절차다.

Metis는 이 모델 계열의 첫 프로토타입으로 설명된다. 이 아키텍처는 파운데이션 모델에 네이티브 메모리 상태를 부여하고, 과거 정보를 모델 안에 압축하며, memory attention을 통해 그 정보에 접근한다. 논문 제출자의 커뮤니티 게시물에 따르면 각 Metis Block은 지속적 메모리 상태를 유지하는 Local Memory Block과 저장 및 사용 절차를 학습하는 Hyper Memory Block을 결합한다. 과거 정보는 작고 고정된 크기의 세션 상태로 압축되므로, 이후 질의는 원래 이력을 다시 재생하지 않고도 메모리를 사용할 수 있다.

프로젝트 개요는 Metis Block이 Transformer 층(어텐션을 쓰는 모델 층)에 삽입되며 2개 구성요소를 포함한다고 설명한다. Local Memory Block은 상호작용 단계 전반에 걸쳐 유지되는 동적 메모리 행렬과 정규화 상태를 관리한다. Hyper Memory Block은 토큰 선택, 메모리 키/값 프로젝션, 전용 메모리 쿼리, 상태 업데이트 절차를 학습한다. 각 메모리 단계 뒤 Metis는 정보성이 높은 은닉 상태를 선택해 로컬 메모리를 업데이트한다. 이후 질의 단계에서는 memory attention이 해당 상태를 읽고, 그 결과를 기존 어텐션 분기와 융합한다.

Metis는 기울기 계산 없는 메모리 유지 방식을 사용하며, 메모리 업데이트에는 순전파 계산만 필요하다. 추론 시점에는 학습된 모든 모델 가중치가 고정된 상태로 유지되고, 네이티브 메모리 상태만 표준 순전파 계산을 통해 바뀐다. 기본 구현은 Gated Delta Network 업데이트를 사용한다. Qwen3.5 하이브리드 구현은 Metis를 full-attention 층에 붙이고, linear-attention 층은 원래의 계산 경로를 유지한다.

연구진은 대규모 메모리 특화 학습 데이터를 구축했으며, 중간 학습 과정에서 네이티브 메모리 절차를 획득하기 위해 여러 최적화 목표를 사용했다고 밝혔다. Hugging Face 페이지에 따르면 구현체와 Qwen3.5 기반 체크포인트는 4B, 9B, 27B 규모로 공개됐다. 해당 페이지에는 GitHub 링크 옆 35, 논문을 인용한 3 models, 이를 인용한 0 datasets, 0 Spaces, 그리고 이를 포함한 3 collections도 표시됐다.

논문은 광범위한 실험을 통해 Metis가 네이티브 메모리 능력을 보였다고 보고했으며, 강점과 한계, 동작에 대한 분석도 제시했다. 로드맵은 네이티브 메모리를 상태 유지 능력에서 자기 관리 메모리, 경험 기반 학습, 지속적 인지, 최종적으로 자기 진화 능력으로 이어지는 흐름으로 설정한다. 논문 제출자는 또한 Metis가 초기 연구 시스템이며 외부 메모리를 완전히 대체하는 것은 아니라고 밝혔다. 하이브리드 네이티브-외부 메모리는 여전히 중요한 방향으로 남아 있다.