復旦大学などの研究者は10月14日、マルチモーダルエージェントが長期間の学習で記憶を形成、表現、管理する方法を整理した調査論文を公開しました。複雑で多様なデータから有用な情報を保持し、セッションをまたいだ連続性を保ちながら、ユーザーや環境の変化に対応する課題を扱っています。論文はarXivに投稿されました。

第一の軸「形成と表現」は、何を記憶し、どのような形式で符号化するかを示します。特定のデータ種別を数値で表す埋め込み、文章や構造化された記録、潜在表現やパラメータ表現などが例として挙げられ、後の推論や行動に使うことを想定しています。第二の軸「記憶管理」は3段階に分かれます。T1「静的記憶」は固定された記憶を再利用し、T2「動的記憶」は安定した方針に沿って記憶を更新します。T3「自己進化型記憶」は時間とともに変化する方針で更新します。

調査論文は、保存した情報の更新と、その管理方針の改善を区別しています。設計原則として、情報源への忠実さと抽象化の両立、時間がたっても情報が有効かどうかの保持、データの出所を示すデータプロバナンスの保存をまとめました。また、後から確認できる証拠に基づく記憶の利用や、経験を通じた管理方針の進化も挙げています。記憶基盤、評価ベンチマーク、応用例、マルチモーダルエージェントの未解決課題も取り上げています。

復旦大学などの研究者は10月14日、マルチモーダルエージェントが長期間の学習で記憶を形成、表現、管理する方法を整理した調査論文を公開しました。複雑で多様なデータから有用な情報を保持し、セッションをまたいだ連続性を保ちながら、ユーザーや環境の変化に対応する課題を扱っています。論文はarXivに投稿されました。

第一の軸「形成と表現」は、何を記憶し、どのような形式で符号化するかを示します。特定のデータ種別を数値で表す埋め込み、文章や構造化された記録、潜在表現やパラメータ表現などが例として挙げられ、後の推論や行動に使うことを想定しています。第二の軸「記憶管理」は3段階に分かれます。T1「静的記憶」は固定された記憶を再利用し、T2「動的記憶」は安定した方針に沿って記憶を更新します。T3「自己進化型記憶」は時間とともに変化する方針で更新します。

調査論文は、保存した情報の更新と、その管理方針の改善を区別しています。設計原則として、情報源への忠実さと抽象化の両立、時間がたっても情報が有効かどうかの保持、データの出所を示すデータプロバナンスの保存をまとめました。また、後から確認できる証拠に基づく記憶の利用や、経験を通じた管理方針の進化も挙げています。記憶基盤、評価ベンチマーク、応用例、マルチモーダルエージェントの未解決課題も取り上げています。