Ollama 기반 로컬 코드베이스 메모리 벤치마크
- •개발자들이 클라우드 비용 절감과 데이터 프라이버시 보호를 위해 로컬 MCP 서버로 전환하고 있다.
- •벤치마크 결과 mistral:7b는 평균 6.14초, ornith:9b는 8GB VRAM 환경에서 평균 13.39초의 지연시간을 기록했다.
- •ChromaDB 벡터 인덱싱 전 독스트링(docstring) 강화 과정을 거치면 모델의 응답 신뢰도가 크게 향상된다.
최근 클라우드 API 비용 부담과 사내 코드베이스 유출 우려를 피하고자 로컬 AI 도구를 도입하는 개발자가 늘고 있다. zerikai_memory 프로젝트는 이러한 요구를 반영해 클라우드와 로컬 모드를 전환하며, 로컬 처리는 Ollama가 담당한다. 인텔 i7-12700 CPU, 32GB RAM, NVIDIA RTX 3050(8GB VRAM) 환경에서 진행된 벤치마크에서는 mistral:7b(v0.3)와 ornith:9b-dense 모델의 추론 속도 및 정확도를 검증했다.
측정 결과, 8GB VRAM 내에서 구동되는 mistral:7b의 평균 응답 시간은 6.14초로, 13.39초를 기록한 ornith:9b보다 빨랐다. 다만 ornith:9b는 메모리 오버플로우로 인한 콜드 스타트 지연을 겪었음에도 실질적인 질의 응답에서는 더 높은 신뢰도를 보였다. 코드베이스에 없는 기술적 정보를 질문했을 때, ornith:9b는 정보 부재를 정확히 식별한 반면 mistral:7b는 잘못된 답을 제시하는 경향을 보였다.
모델 성능은 검색된 컨텍스트의 품질에 크게 좌우된다. 연구 결과 .memignore 파일 설정, 독스트링 도구를 통한 문서화 강화, 워크스페이스 스캔을 거치는 정밀한 인덱싱 과정이 필수적이다. 특히 독스트링 강화 없이 인덱싱할 경우 벡터 데이터가 부족해져 모델 성능이 저하된다. 한편 로컬 환경의 GPU 부하를 방지하기 위해 asyncio 세마포어를 구현해 동시 Ollama 호출을 제어함으로써 제한된 VRAM 환경에서도 안정적인 운용이 가능해졌다.