Metis、モデルにネイティブメモリ
- •Metisは、基盤モデルのバックボーン内に永続的かつ動的に進化するネイティブメモリを備えるメモリ基盤モデルを提案した
- •Metis BlockはLocal Memory BlockとHyper Memory Blockを組み合わせ、圧縮された履歴を保存・利用する
- •研究者らはQwen3.5ベースのチェックポイントを4B、9B、27Bの規模で公開した
Metisの研究者らは2026-08-01付のHugging Face Papersエントリーで、基盤モデルに永続的かつ動的に進化するネイティブメモリ状態を持たせるメモリ基盤モデルを公開した。論文はXichong ZhangがJul 31に投稿し、#1 Paper of the dayにランクされ、スクレイピングされたページでは205 upvotesを示していた。著者リストにはZeyu Zhang、Ziliang Guo、Yihang Sun、Xichong Zhang、Xixuan Hao、Zehao Lin、Yang Zhang、Xiaoyan Zhao、Tong Shen、Bo Tang、Zhi-Qin John Xu、Junchi Yan、Haofen Wang、Xu Chen、Feiyu Xiong、Zhiyu Li、Tat-Seng Chuaが並ぶ。
研究者らによると、近年のAIエージェントはマルチモーダル知覚や推論などの能力を基盤モデルへ移してきたが、エージェントのメモリはなお外部検索、保存、プロンプト構築のパイプラインに大きく依存している。Metisはメモリ基盤モデルを通じ、メモリをモデル自体のネイティブ能力として扱う。論文はネイティブメモリを2つの形で定式化した。モデルのバックボーン内にある永続的かつ動的に進化するメモリ状態と、何を保存し、保存情報をどう使うかを自律的に決めるネイティブメモリ手続きである。
Metisは、このモデル群の最初のプロトタイプと説明されている。アーキテクチャは基盤モデルにネイティブメモリ状態を与え、履歴情報をモデル内に圧縮し、メモリアテンションを通じてその情報にアクセスする。論文投稿者のコミュニティ投稿によると、各Metis Blockは永続的なメモリ状態を維持するLocal Memory Blockと、保存および利用の手続きを学習するHyper Memory Blockを組み合わせる。履歴情報はコンパクトな固定サイズのセッション状態に圧縮されるため、後続のクエリは元の履歴を再生せずにメモリを使える。
プロジェクト概要によると、Metis BlockはTransformer層(アテンションを使うモデル層)に挿入され、2つの構成要素を含む。Local Memory Blockは、対話ステップをまたいで持続する動的メモリ行列と正規化状態を維持する。Hyper Memory Blockは、トークン選択、メモリのキー/バリュー射影、専用メモリクエリ、状態更新手続きを学習する。各メモリステップの後、Metisは有益な隠れ状態を選び、ローカルメモリを更新する。後のクエリ時には、メモリアテンションがその状態を読み取り、結果を元のアテンション分岐と融合する。
Metisは勾配を使わないメモリ維持を採用し、メモリ更新には順伝播計算だけを必要とする。推論時には、学習済みのモデル重みはすべて固定されたまま、ネイティブメモリ状態が通常の順伝播計算によって変化する。標準実装はGated Delta Network更新を使い、Qwen3.5ハイブリッド実装ではMetisをフルアテンション層に接続する一方、線形アテンション層は元の計算経路を維持する。
研究者らは、ネイティブメモリ手続きを獲得するため、大規模なメモリ特化型トレーニングデータを構築し、ミッドトレーニングで複数の最適化目的を使ったとしている。Hugging Faceページによると、実装とQwen3.5ベースのチェックポイントは4B、9B、27Bの規模で公開された。同ページにはGitHub、そのリンク横の35、論文を引用する3 models、0 datasets、0 Spaces、収録する3 collectionsも表示されていた。
論文は、広範な実験によりMetisがネイティブメモリ能力を示したと報告し、強み、限界、挙動を分析している。ロードマップは、ネイティブメモリをステートフルな能力から自己管理メモリ、経験駆動型学習、永続的認知、最終的には自己進化能力へ進む流れとして位置づける。投稿者は、Metisが初期段階の研究システムであり、外部メモリを完全に置き換えるものではなく、ネイティブメモリと外部メモリのハイブリッドが重要な方向性であり続けるとも述べている。