研究チームは2026年5月12日、大規模言語モデル向けの軽量なメモリ機構「δ-mem」を発表した。このシステムは、凍結されたアテンションバックボーンにコンパクトな連想メモリ状態を追加することで性能を強化し、アテンション計算に対して低ランクの修正を行う仕組みである。この手法は、過去の情報を固定サイズの状態行列に圧縮し、デルタ則学習を用いて更新を行う。

8x8のオンラインメモリ状態を利用することで、δ-memは平均モデルスコアを凍結バックボーン比で1.10倍、δ-memを使用しない最強のメモリベースラインと比較して1.15倍に向上させる。

この機構はメモリ負荷の高いベンチマークで顕著な成果を示しており、MemoryAgentBenchで1.31倍、LoCoMoで1.20倍の改善を達成した。これらの向上は、フルモデルのファインチューニングやバックボーンの置き換え、あるいは明示的なコンテキストウィンドウの拡張を必要としない。この実装により、長期記憶が必要なアシスタントやエージェントシステムにおいて、元のモデルが持つ汎用的な能力を維持しつつ、情報の効率的な蓄積と再利用が可能となる。

研究チームは2026年5月12日、大規模言語モデル向けの軽量なメモリ機構「δ-mem」を発表した。このシステムは、凍結されたアテンションバックボーンにコンパクトな連想メモリ状態を追加することで性能を強化し、アテンション計算に対して低ランクの修正を行う仕組みである。この手法は、過去の情報を固定サイズの状態行列に圧縮し、デルタ則学習を用いて更新を行う。

8x8のオンラインメモリ状態を利用することで、δ-memは平均モデルスコアを凍結バックボーン比で1.10倍、δ-memを使用しない最強のメモリベースラインと比較して1.15倍に向上させる。

この機構はメモリ負荷の高いベンチマークで顕著な成果を示しており、MemoryAgentBenchで1.31倍、LoCoMoで1.20倍の改善を達成した。これらの向上は、フルモデルのファインチューニングやバックボーンの置き換え、あるいは明示的なコンテキストウィンドウの拡張を必要としない。この実装により、長期記憶が必要なアシスタントやエージェントシステムにおいて、元のモデルが持つ汎用的な能力を維持しつつ、情報の効率的な蓄積と再利用が可能となる。