上海交通大学のウェイ・ジョウ（Wei Zhou）率いる研究チームは6月23日、大規模言語モデル（LLM）エージェントのメモリシステムを評価するための新たな分析フレームワークを発表した。著者らは、従来の評価手法がメモリを単一のブラックボックスとして扱い、F1スコアやBLEUといったタスク成功率の指標に過度に依存している点を批判している。提案されたフレームワークは、メモリシステムを「表現とストレージ」「抽出」「検索とルーティング」「メンテナンス」の4つのモジュールに分解して分析を行う。

研究チームは12の代表的なメモリシステムと2つのベースラインを、5つのワークロードと11のデータセットを用いて評価した。その結果、あらゆる状況で優れた性能を発揮する単一のアーキテクチャは存在せず、各メモリ構造が特定のボトルネックにどれだけ適応できるかが有効性を左右することが分かった。アブレーションスタディ（Ablation study）による詳細な検証を通じて、研究は表現の忠実度や検索精度、更新の正確性、長期的な安定性に対する各モジュールの影響を定量化した。これらの知見は、局所的なメンテナンス戦略が全体的な再構成よりもコスト効率に優れていることを示している。本研究のコードとリソースは現在、GitHubのMemoryDataリポジトリで公開されている。

上海交通大学のウェイ・ジョウ（Wei Zhou）率いる研究チームは6月23日、大規模言語モデル（LLM）エージェントのメモリシステムを評価するための新たな分析フレームワークを発表した。著者らは、従来の評価手法がメモリを単一のブラックボックスとして扱い、F1スコアやBLEUといったタスク成功率の指標に過度に依存している点を批判している。提案されたフレームワークは、メモリシステムを「表現とストレージ」「抽出」「検索とルーティング」「メンテナンス」の4つのモジュールに分解して分析を行う。

研究チームは12の代表的なメモリシステムと2つのベースラインを、5つのワークロードと11のデータセットを用いて評価した。その結果、あらゆる状況で優れた性能を発揮する単一のアーキテクチャは存在せず、各メモリ構造が特定のボトルネックにどれだけ適応できるかが有効性を左右することが分かった。アブレーションスタディ（Ablation study）による詳細な検証を通じて、研究は表現の忠実度や検索精度、更新の正確性、長期的な安定性に対する各モジュールの影響を定量化した。これらの知見は、局所的なメンテナンス戦略が全体的な再構成よりもコスト効率に優れていることを示している。本研究のコードとリソースは現在、GitHubのMemoryDataリポジトリで公開されている。