DeepSeekの社内向け展開を最適化する構成を提案

宋唐氏の論文は、大規模言語モデルの能力とローカル環境での実装の隔たりを縮めるため、コンピューターAIシステムでDeepSeekを社内展開する構成を提案しています。設計には、量子化を考慮したモデル読み込み、異種GPUメモリー割り当て、KVキャッシュ再利用、検索拡張生成、意味的再ランキング、リクエストに応じた推論スケジューリング、ポリシーに基づくセキュリティ経路制御を組み合わせています。

このシステムは、モデル推論、ベクトル検索、キャッシュ更新、アクセス制御、障害分離を一つのサービスグラフにまとめます。テストでは、質問応答、分野別文書検索、複数ターンの推論を組み合わせたリクエストを使用しました。同時リクエストが20件から100件に増えると、平均応答遅延は0.82秒から1.94秒に伸びました。同時60件では、遅延は1.30秒未満でした。

すべての展開方式を適用した場合、処理量は毎秒79件に達し、単一ノード構成より88.1％増えました。論文によると、この方式はローカルのデータ境界を保ち、推論制御を追跡可能にしながら、分野の知識に適応する安全で効率的な展開を継続運用で支援します。

宋唐氏の論文は、大規模言語モデルの能力とローカル環境での実装の隔たりを縮めるため、コンピューターAIシステムでDeepSeekを社内展開する構成を提案しています。設計には、量子化を考慮したモデル読み込み、異種GPUメモリー割り当て、KVキャッシュ再利用、検索拡張生成、意味的再ランキング、リクエストに応じた推論スケジューリング、ポリシーに基づくセキュリティ経路制御を組み合わせています。

このシステムは、モデル推論、ベクトル検索、キャッシュ更新、アクセス制御、障害分離を一つのサービスグラフにまとめます。テストでは、質問応答、分野別文書検索、複数ターンの推論を組み合わせたリクエストを使用しました。同時リクエストが20件から100件に増えると、平均応答遅延は0.82秒から1.94秒に伸びました。同時60件では、遅延は1.30秒未満でした。

すべての展開方式を適用した場合、処理量は毎秒79件に達し、単一ノード構成より88.1％増えました。論文によると、この方式はローカルのデータ境界を保ち、推論制御を追跡可能にしながら、分野の知識に適応する安全で効率的な展開を継続運用で支援します。