Mnemo는 대규모 언어 모델(LLM)을 위한 로컬 우선(local-first) 메모리 레이어로, Rust 언어로 작성된 오픈소스 도구다. 이 프로젝트는 사이드카 서비스 형태로 작동하며, 별도의 클라우드 연결이나 파이썬 런타임 없이 개체를 추출하고 SQLite에 영구적인 지식 그래프를 유지한다. 개발자는 이 시스템을 활용해 원시 텍스트에서 개체와 관계를 추출하고, 이를 중복 제거한 뒤 petgraph 구조로 연결하여 다중 홉(multi-hop) 탐색이 가능한 문맥을 LLM 프롬프트에 삽입할 수 있다.

검색 프로세스는 전문 덩어리(chunk) 검색, 개체명 매칭, 너비 우선 탐색(BFS) 그래프 확장 등 6단계 파이프라인을 거쳐 50ms 이내에 문맥을 구성한다. 사용자는 REST API, 명령줄 인터페이스(CLI), 또는 파이썬 SDK를 통해 시스템과 상호작용할 수 있으며, Ollama와 같은 로컬 모델을 포함한 OpenAI 호환 API를 지원한다. Apple M2 프로세서 기반 성능 측정 결과, 전체 검색 파이프라인은 요청당 약 4.2ms로 작동하며 초당 약 238회의 작업 처리가 가능하다.

이 저장소는 12개의 벤치마크 제품군과 122개의 자동화 테스트를 지원한다. 설정은 환경 변수나 TOML 파일을 통해 관리하며, LLM 제공자나 기본 URL 등을 지정할 수 있다. MIT 라이선스로 배포되는 Mnemo는 현재 GitHub에서 Docker 또는 직접 바이너리 설치 방식으로 사용할 수 있다. 아키텍처는 핵심 엔진 로직의 mnemo-core, REST 핸들러인 mnemo-api, 터미널 작업을 위한 mnemo-cli, 하드웨어 성능 테스트를 위한 mnemo-bench 등 4개의 주요 Rust 크레이트로 구성되어 있다.

Mnemo는 대규모 언어 모델(LLM)을 위한 로컬 우선(local-first) 메모리 레이어로, Rust 언어로 작성된 오픈소스 도구다. 이 프로젝트는 사이드카 서비스 형태로 작동하며, 별도의 클라우드 연결이나 파이썬 런타임 없이 개체를 추출하고 SQLite에 영구적인 지식 그래프를 유지한다. 개발자는 이 시스템을 활용해 원시 텍스트에서 개체와 관계를 추출하고, 이를 중복 제거한 뒤 petgraph 구조로 연결하여 다중 홉(multi-hop) 탐색이 가능한 문맥을 LLM 프롬프트에 삽입할 수 있다.

검색 프로세스는 전문 덩어리(chunk) 검색, 개체명 매칭, 너비 우선 탐색(BFS) 그래프 확장 등 6단계 파이프라인을 거쳐 50ms 이내에 문맥을 구성한다. 사용자는 REST API, 명령줄 인터페이스(CLI), 또는 파이썬 SDK를 통해 시스템과 상호작용할 수 있으며, Ollama와 같은 로컬 모델을 포함한 OpenAI 호환 API를 지원한다. Apple M2 프로세서 기반 성능 측정 결과, 전체 검색 파이프라인은 요청당 약 4.2ms로 작동하며 초당 약 238회의 작업 처리가 가능하다.

이 저장소는 12개의 벤치마크 제품군과 122개의 자동화 테스트를 지원한다. 설정은 환경 변수나 TOML 파일을 통해 관리하며, LLM 제공자나 기본 URL 등을 지정할 수 있다. MIT 라이선스로 배포되는 Mnemo는 현재 GitHub에서 Docker 또는 직접 바이너리 설치 방식으로 사용할 수 있다. 아키텍처는 핵심 엔진 로직의 mnemo-core, REST 핸들러인 mnemo-api, 터미널 작업을 위한 mnemo-cli, 하드웨어 성능 테스트를 위한 mnemo-bench 등 4개의 주요 Rust 크레이트로 구성되어 있다.