大規模言語モデル（LLM）向けのローカルファーストなメモリレイヤー「Mnemo」が、Rust製のオープンソースツールとして公開された。本プロジェクトは、サイドカーサービスとして機能し、Pythonランタイムやクラウド接続を必要とせずに、エンティティの抽出、SQLiteにおける永続的なナレッジグラフの保持、関連性の高いコンテキストのプロンプトへの注入を行う。カスタムパイプラインを構築する開発者向けに設計されており、テキストをLLMに送信してエンティティと関係性を抽出し、重複排除を経てpetgraph構造内でリンクさせることで、クエリ時のマルチホップ探索を可能にする。

検索プロセスは、全文チャンク検索、エンティティ名照合、幅優先探索（BFS）によるグラフ展開など、6つのステージで構成され、50ms以下でコンテキスト文字列をランク付け・構築する。ユーザーはREST API、CLI、またはPython SDKを通じて対話可能であり、Ollamaなどでローカルホストされたモデルを含む、OpenAI互換のあらゆるAPIをネイティブサポートする。Apple M2プロセッサで測定された性能指標では、フル検索パイプラインが1リクエストあたり約4.2msで動作し、毎秒約238件のオペレーションを処理する。

リポジトリには12のベンチマークスイートと122の自動テストが含まれる。設定は環境変数やTOMLファイルで行い、LLMプロバイダーやベースURL、モデルの指定が可能だ。MnemoはMITライセンスで提供され、GitHubからDockerや直接バイナリでインストールできる。アーキテクチャは、コアエンジンロジックの「mnemo-core」、RESTハンドラーの「mnemo-api」、ターミナル操作の「mnemo-cli」、ハードウェア性能テスト用の「mnemo-bench」という4つの主要なRustクレートで構成されている。

大規模言語モデル（LLM）向けのローカルファーストなメモリレイヤー「Mnemo」が、Rust製のオープンソースツールとして公開された。本プロジェクトは、サイドカーサービスとして機能し、Pythonランタイムやクラウド接続を必要とせずに、エンティティの抽出、SQLiteにおける永続的なナレッジグラフの保持、関連性の高いコンテキストのプロンプトへの注入を行う。カスタムパイプラインを構築する開発者向けに設計されており、テキストをLLMに送信してエンティティと関係性を抽出し、重複排除を経てpetgraph構造内でリンクさせることで、クエリ時のマルチホップ探索を可能にする。

検索プロセスは、全文チャンク検索、エンティティ名照合、幅優先探索（BFS）によるグラフ展開など、6つのステージで構成され、50ms以下でコンテキスト文字列をランク付け・構築する。ユーザーはREST API、CLI、またはPython SDKを通じて対話可能であり、Ollamaなどでローカルホストされたモデルを含む、OpenAI互換のあらゆるAPIをネイティブサポートする。Apple M2プロセッサで測定された性能指標では、フル検索パイプラインが1リクエストあたり約4.2msで動作し、毎秒約238件のオペレーションを処理する。

リポジトリには12のベンチマークスイートと122の自動テストが含まれる。設定は環境変数やTOMLファイルで行い、LLMプロバイダーやベースURL、モデルの指定が可能だ。MnemoはMITライセンスで提供され、GitHubからDockerや直接バイナリでインストールできる。アーキテクチャは、コアエンジンロジックの「mnemo-core」、RESTハンドラーの「mnemo-api」、ターミナル操作の「mnemo-cli」、ハードウェア性能テスト用の「mnemo-bench」という4つの主要なRustクレートで構成されている。