ACL 2026論文、AIエージェントの記憶更新を測るMemoraを発表

ACL 2026の「Findings」に掲載された論文は、個人向けAIエージェントが事実を思い出すだけでなく、古くなった記憶を更新・破棄できるかを測るベンチマーク「Memora」を発表しました。論文「From Recall to Forgetting」の著者らによると、既存テストでは想起が主に測られています。LoCoMoの質問の94%、LongMemEvalの質問の85%は、過去2回以下のセッションから回答でき、主要なベンチマークでは質問あたりの履歴が平均約1回分です。LongMemEvalは評価前の知識更新を最大2回に制限し、PersonaMemは3回以下のセッションでの変化を検証します。

Memoraは10の職業上の人物像について、週次・月次・四半期ごとの履歴を再現します。人物像あたりのセッション数は平均約155、615、1,991回で、1セッションは約16ターンです。四半期設定では、各人物像の記憶に平均約1,171件の操作が行われ、追加が63%、更新が18%、削除が19%を占めます。明示的な記録によって、どの事実が現在も有効かを追跡します。ベンチマークは事実の想起、記憶をまたぐ推論、現在の好みに沿った推薦を検証します。古い事実を減点し、必要な情報と避けるべき情報の両方を評価するFAMAスコアでは、言語モデルの判定者3者が人間の注釈者と88.3%の割合で一致しました。

研究者らは、会話履歴を直接読む4つの言語モデルを、推論トークンの有無を変えてテストし、GPT-4o-miniを使って回答する専用の記憶エージェント6種類も評価しました。記憶エージェントは共通して小型の同じモデルを使うため、結果は同等のモデル能力で記憶の有無を比べたものではなく、固定したモデル上で記憶システムを比較したものです。3つの時間設定におけるFAMAスコアの合計は最大300点で、割合ではなく相対的な点数として読む必要があります。想起では記憶エージェントが119.5点を獲得し、言語モデルの65.7点にほぼ倍増しました。推薦では通常の言語モデルが144.7～153.3点、記憶エージェントが138.4点でした。著者らは、人物像の手がかりから推測したおおよその好みでも推薦できる可能性があると述べています。

推論の成績は全システムで低く、記憶エージェントの平均が最高の27.6点、言語モデルは12.4～13.9点でした。人手による確認では、抽出した推論ミスのすべてで、必要な情報の一部だけを取り出してから回答していました。推論トークンの効果はわずかでした。著者らが挙げた例では、記録済みの支出を差し引いて残額を計算せず、エージェントが利用者は「予算内」と回答しました。

履歴が増えるにつれ、古い記憶による減点は言語モデルと記憶エージェントで逆の動きを示しました。履歴をそのまま読む言語モデルでは、古い会話がコンテキストウィンドウから外れるため、週次設定の32.6点から四半期設定の17.8点へ減少しました。記憶エージェントでは、蓄積される履歴が増えるにつれて18.2点から29.5点に上昇しました。月次設定の記憶精度ではMemoryOSが112.8点、A-Memが112.0点で、Nemoriの105.4点を上回りました。一方、忘却による減点はNemoriが15.4点、MemoryOSが28.4点、A-Memが29.5点で、古い記憶も考慮するFAMAではNemoriが上位になりました。推薦ミスの抽出例では64%が無効化されていない古い記憶に関係していました。例として、利用者がノンフィクションから現代小説へ好みを変えた後も、過去に好んでいた伝記を推薦したケースがありました。

著者らは、記憶の更新では古い事実を置き換えること、訂正や削除を伴うテストを行うこと、除外すべき情報も採点すること、記憶機能が推論を改善すると期待しないことを提案しています。会話は利用者から収集したものではなく言語モデルが生成したこと、6種類すべての記憶エージェントがGPT-4o-miniを使ったこと、3者投票と人間との一致度調査を行ったものの評価を言語モデルの判定者に頼ったことを、研究上の制約として挙げました。ベンチマークは10の人物像と、好み・活動・目標という3種類の記憶を対象にしています。著者らは、実際のやり取りには曖昧さや矛盾が加わるため、合成データでの結果は下限を示すと説明しています。

ACL 2026の「Findings」に掲載された論文は、個人向けAIエージェントが事実を思い出すだけでなく、古くなった記憶を更新・破棄できるかを測るベンチマーク「Memora」を発表しました。論文「From Recall to Forgetting」の著者らによると、既存テストでは想起が主に測られています。LoCoMoの質問の94%、LongMemEvalの質問の85%は、過去2回以下のセッションから回答でき、主要なベンチマークでは質問あたりの履歴が平均約1回分です。LongMemEvalは評価前の知識更新を最大2回に制限し、PersonaMemは3回以下のセッションでの変化を検証します。

Memoraは10の職業上の人物像について、週次・月次・四半期ごとの履歴を再現します。人物像あたりのセッション数は平均約155、615、1,991回で、1セッションは約16ターンです。四半期設定では、各人物像の記憶に平均約1,171件の操作が行われ、追加が63%、更新が18%、削除が19%を占めます。明示的な記録によって、どの事実が現在も有効かを追跡します。ベンチマークは事実の想起、記憶をまたぐ推論、現在の好みに沿った推薦を検証します。古い事実を減点し、必要な情報と避けるべき情報の両方を評価するFAMAスコアでは、言語モデルの判定者3者が人間の注釈者と88.3%の割合で一致しました。

研究者らは、会話履歴を直接読む4つの言語モデルを、推論トークンの有無を変えてテストし、GPT-4o-miniを使って回答する専用の記憶エージェント6種類も評価しました。記憶エージェントは共通して小型の同じモデルを使うため、結果は同等のモデル能力で記憶の有無を比べたものではなく、固定したモデル上で記憶システムを比較したものです。3つの時間設定におけるFAMAスコアの合計は最大300点で、割合ではなく相対的な点数として読む必要があります。想起では記憶エージェントが119.5点を獲得し、言語モデルの65.7点にほぼ倍増しました。推薦では通常の言語モデルが144.7～153.3点、記憶エージェントが138.4点でした。著者らは、人物像の手がかりから推測したおおよその好みでも推薦できる可能性があると述べています。

推論の成績は全システムで低く、記憶エージェントの平均が最高の27.6点、言語モデルは12.4～13.9点でした。人手による確認では、抽出した推論ミスのすべてで、必要な情報の一部だけを取り出してから回答していました。推論トークンの効果はわずかでした。著者らが挙げた例では、記録済みの支出を差し引いて残額を計算せず、エージェントが利用者は「予算内」と回答しました。

履歴が増えるにつれ、古い記憶による減点は言語モデルと記憶エージェントで逆の動きを示しました。履歴をそのまま読む言語モデルでは、古い会話がコンテキストウィンドウから外れるため、週次設定の32.6点から四半期設定の17.8点へ減少しました。記憶エージェントでは、蓄積される履歴が増えるにつれて18.2点から29.5点に上昇しました。月次設定の記憶精度ではMemoryOSが112.8点、A-Memが112.0点で、Nemoriの105.4点を上回りました。一方、忘却による減点はNemoriが15.4点、MemoryOSが28.4点、A-Memが29.5点で、古い記憶も考慮するFAMAではNemoriが上位になりました。推薦ミスの抽出例では64%が無効化されていない古い記憶に関係していました。例として、利用者がノンフィクションから現代小説へ好みを変えた後も、過去に好んでいた伝記を推薦したケースがありました。

著者らは、記憶の更新では古い事実を置き換えること、訂正や削除を伴うテストを行うこと、除外すべき情報も採点すること、記憶機能が推論を改善すると期待しないことを提案しています。会話は利用者から収集したものではなく言語モデルが生成したこと、6種類すべての記憶エージェントがGPT-4o-miniを使ったこと、3者投票と人間との一致度調査を行ったものの評価を言語モデルの判定者に頼ったことを、研究上の制約として挙げました。ベンチマークは10の人物像と、好み・活動・目標という3種類の記憶を対象にしています。著者らは、実際のやり取りには曖昧さや矛盾が加わるため、合成データでの結果は下限を示すと説明しています。