Couchbase、Amazon Bedrockを活用したマルチモデルAIアーキテクチャを導入
- •CouchbaseはCapella iQにAmazon Bedrockを統合し、プロバイダーを選ばない柔軟なマルチモデル推論アーキテクチャを構築した。
- •AnthropicのClaude Sonnet 4.5モデルは、BIRDメソッドに基づく内部ベンチマークにおいて、主要ワークフローで約76パーセントの精度を達成した。
- •本アーキテクチャはCross-Region Inferenceを採用し、コード変更なしでAWSリージョン間の自動フェイルオーバーと高可用性を実現する。
Couchbaseは開発者支援ツールであるCapella iQにAmazon Bedrockを統合し、回復力のあるマルチモデルAI推論アーキテクチャを構築した。このシステムは自然言語によるデータベースクエリやインデックスの推奨をサポートしており、プロバイダーに依存しない設計となっている。これにより、コードを書き換えることなく、設定の更新のみで基盤モデルを切り替えることが可能だ。AWSのus-east-1およびus-west-2リージョンのAmazon Elastic Kubernetes Service (EKS)上で運用され、Cross-Region Inferenceを活用して、需要の急増時やリージョン障害発生時にトラフィックを自動的に再ルーティングする。この構成により、すべての推論トラフィックをAWSのセキュアなインフラ内に維持しつつ、高い可用性とデータレジデンシーを両立している。
リクエストのパイプラインは、認証とセッションコンテキストを管理するcp-apiポッドで開始される。リクエストはVirtual Private Cloud (VPC)インターフェースエンドポイントを通じてAmazon Bedrockランタイムにルーティングされる。Couchbaseは、モデルのルーティングを担うcp-internal-apiやテナントレベルの設定を管理するcp-nsといった専用のマイクロサービスを用いて統合を制御している。管理インフラを活用することで、事前に容量をプロビジョニングする運用負荷を回避しつつ、SOC、HIPAA、ISOといった厳格なセキュリティおよびコンプライアンス基準を遵守している。
評価フェーズにおいて、CouchbaseはSQL++生成やインデックス推奨、複数ターンの対話を含むベンチマークスイートを開発した。BIRDメソッドをベースにした内部テストでは、AnthropicのClaude Sonnet 4.5を用いて約76パーセントの精度を達成した。同モデルは、構造化されたコード生成と自然言語による推論タスクの両面で優れたパフォーマンスを発揮するため選定された。チームは自動化された評価パイプラインを実装し、モデル間でトークン化やレスポンス形式を正規化することで、再現性の高いベンチマークを可能にした。
エンジニアリングチームは、リージョンごとのスロットリングやエンドポイントの劣化をシミュレーションし、フェイルオーバーの挙動を検証することでシームレスな移行を確実にした。今後は、Amazon Bedrockのカスタムモデルインポート機能を活用してコスト最適化を図る方針である。これにより、タスクに特化した微調整済みの小型モデルを展開し、クエリ解説などの高負荷ワークロードにおいても高い品質を維持する。さらに、Claude Sonnet 5などの新しい基盤モデルが利用可能になり次第、継続的に統合を進める計画だ。