로컬 AI 에이전트 관측 도구 'Otterscope' 출시
- •Otterscope가 AI 에이전트 실행 과정을 추적하기 위한 단일 바이너리 기반의 SQLite 관측 도구로 출시됐다.
- •이 도구는 다양한 에이전트 프레임워크의 OpenTelemetry 추적 형식을 표준화하여 모니터링을 단순화한다.
- •사용자는 외부 데이터베이스 없이 로컬 기기나 소형 가상 서버(VPS)에서 직접 모니터링 환경을 호스팅할 수 있다.
독립 개발자 렘도어(Remdore)가 대규모 언어 모델(LLM) 에이전트 실행 과정을 추적하는 오픈소스 관측 도구 'Otterscope'를 출시했다. 이 소프트웨어는 서드파티 호스팅 서비스 없이도 도구 호출, 모델 응답, 비용 지표를 모니터링해야 하는 수요를 겨냥했다. 단일 Go 바이너리와 SQLite 데이터베이스를 사용하여, 통상적으로 Postgres나 ClickHouse 같은 복잡한 상태 유지 서비스를 요구하는 기업용 도구보다 인프라 구성을 단순화했다.
Otterscope는 로컬 에이전트로부터 OpenTelemetry 추적 데이터를 수신하여 작동한다. 에이전트 실행 단계, LLM 호출, 중첩된 도구 호출 등을 확인할 수 있는 시각적 인터페이스를 제공한다. 특히 주요 모델 공급자의 최신 가격을 반영해 각 실행에 소요된 비용을 달러 단위로 표시하는 기능을 갖췄다. 또한 추적 데이터 내에 평가 검사를 통합하여, 프롬프트나 에이전트 버전에 따른 성능 차이를 비교 분석할 수 있다.
이 프로젝트의 핵심은 상이한 AI 추적 형식을 표준화하는 변환 계층이다. OpenAI Agents SDK, LangChain, Vercel AI SDK 등 프레임워크마다 서로 다른 OpenTelemetry 속성 구조를 사용하는데, Otterscope는 이를 통합된 모델로 변환한다. 이를 통해 원시 페이로드를 저장했다가 나중에 변환 로직이 개선되면 다시 처리할 수 있다. 현재는 개인 사용자 및 로컬 환경에 최적화되어 있으며, 복잡한 인증 절차 없이 로컬호스트에 기본 바인딩되어 보안을 보장한다.
구현을 위해 웹 인터페이스용 8317번 포트와 OpenTelemetry 데이터용 4318번 포트를 노출하는 도커 컨테이너를 제공한다. 저장소에는 Pydantic AI, LangGraph, Vercel AI SDK 등을 위한 설정 문서가 포함되어 있으며, 모의 실행 데이터로 데이터베이스를 채우는 테스트 명령어도 제공한다. 저사양 환경에 최적화되어 6달러짜리 DigitalOcean Droplet과 같은 소형 VPS에서도 별도의 데이터베이스 관리 없이 운영이 가능하다.