LLM API向けJSON出力の標準化を実現
- •CommitBriefは、7つの異なるLLM APIからの構造化されたJSON解析結果をGo言語ベースの統一スキーマで標準化する。
- •各APIプロバイダーはツール利用や厳格なJSONスキーマ、基本的なプロンプト指示など、それぞれ異なる強制手法を採用している。
- •検証が2回失敗した場合、Markdown形式にフォールバックするリトライ戦略を採用し、パイプラインの停止を防ぐ。
CommitBriefは、基盤となるモデルプロバイダーに関係なく一貫したJSONスキーマで出力を標準化し、自動コードレビューを可能にする。このソフトウェアは、重大度、ファイルパス、行番号、タイトル、説明などのフィールドを含む特定のFinding構造体を要求する。7つのAPIプロバイダーは構造的制約の強制方法が異なるため、システムは階層的なアプローチをとる。Anthropic、OpenAI、Geminiはツール利用や厳格なJSONスキーマといったネイティブ機能を使用する一方、Ollamaは構文的なJSONのみを保証し、DeepSeek、Mistral、Cohereはスキーマの遵守をプロンプトによる指示のみに依存する。
一貫性を保つため、すべてのモデル応答は中央集権的なParseFindings関数を通過する。この検証層はJSON構文の有効性だけでなく、必須フィールドの存在や5段階の重大度レベルなどのビジネスロジックも確認する。この検証層の実装により、商用モデルかローカルモデルかを問わず、出力結果は後続ツールで読み取り可能なデータとして処理される。
モデルの失敗や解析不能な出力に対しては、1回のリトライ後にフォールバックする戦略を適用する。初回応答が不完全な場合、CommitBriefは自動的に再試行を行い、2回目も失敗した場合は警告を発行しつつMarkdownとしてレンダリングする。これによりパイプラインのクラッシュを回避し、両方の試行でトークン消費量を正確に合算してコスト管理を行う。構造化出力は解析しやすさを向上させるが正確性を保証するものではないため、システムにはファイルパスや行番号の幻覚（ハルシネーション）を防ぐ指示が含まれ、既知のデータセットを用いた精度評価ハーネスも保持している。