Torrix、セルフホスト型LLM可観測性プラットフォームを公開
- •TorrixはPostgresやRedisへの依存なしで動作する、セルフホスト型のLLM可観測性ツールを立ち上げた。
- •同プラットフォームはOpenAI、Anthropic、Google Geminiなどの主要プロバイダー間でのレイテンシ、トークン消費量、コストを追跡する。
- •6つのプログラミング言語向けSDK、LangChainコールバックハンドラー、ブラウザ拡張機能などの統合オプションが提供される。
Torrixは、PostgresやRedisなどの外部データベースを必要とせず、トークン消費量、コスト、レイテンシ、プロンプトの完全なトレースを追跡できるオープンソースのセルフホスト型LLM可観測性プラットフォームをリリースした。このプラットフォームはDockerを使用してローカル環境で実行されるよう設計されており、OpenAI、Anthropic、Google Gemini、Groq、Mistral、DeepSeekなど、HTTP互換性のあるあらゆるエンドポイントをサポートする。個人識別情報（PII）のマスキングや推論トークンの捕捉機能も備えており、ユーザーは全ての機密データを自社のインフラ内に保持できる。
開発者は、Python、Node.js、Go、C#/.NET、Java用の専用SDK、またはドロップインHTTPプロキシを使用してTorrixを統合できる。LangChainを利用するユーザー向けには、フレームワーク経由で行われる全てのLLMコールをトレースするための専用コールバックハンドラーが用意されている。また、システムはユーザーごとのコスト追跡をサポートしており、リクエスト量や特定のユーザーごとの支出を特定可能だ。
セットアップはコミュニティ向けのDocker設定を実行することで開始され、ローカルダッシュボード（http://localhost:8088）からアクセス可能なサーバーが起動する。プラットフォームはヘルスチェックやAPIベースの検証機能を提供し、ログ記録された実行状況を監視できる。さらに、TorrixにはChatGPT、Claude、Perplexityなどのプラットフォームから、手動でのAPIキーのルーティング変更なしにやり取りをキャプチャできるブラウザ拡張機能が含まれる。また、n8nなどの自動化ツールとも専用コミュニティノードを通じて統合でき、ワークフローへのドラッグ・アンド・ドロップでの可観測性導入を可能にする。