DeepSeek、推論フレームワーク「DeepInfer」を公開
- •DeepSeekが20日、GitHubで推論フレームワーク「DeepInfer」をオープンソース公開
- •GPU 1基で毎秒2万5000個超の出力トークンを処理し、単一クラスターで1日155兆個と主張
- •公開版はオフライン推論のみ対応し、自社ベンチマークは独立検証されていない
DeepSeekは現地時間20日、独自AIモデルをサービス環境で実行する推論フレームワーク「DeepInfer」をGitHubでオープンソースとして公開しました。実運用で使う推論技術を外部開発者に開放し、モデルの実行コストを下げ、計算資源の利用効率を高める狙いだと説明しています。DeepInferはDeepSeek-V4.1-Flashの運用環境での実行を支援し、NVIDIA SM100 GPUとHuawei Ascend 950 NPUで利用できます。公開版が対応するのはオフライン推論のみです。
現在のバージョンには、実サービスの運用に必要なKVキャッシュ（過去の計算結果を保存するメモリー）システム、プリフィルとデコーディングの分離処理、負荷分散が含まれておらず、別途インフラを構築する必要があります。DeepSeekの測定では、プリフィルにGPU 4基、デコーディングにGPU 64基を使いました。入力データを処理するプリフィルと、応答トークンを生成するデコーディングを分けて性能を測っています。デコーディングの試験では、ランク当たり同時リクエスト256件の条件で、GPU 1基が毎秒2万5000個を超える出力トークンを処理しました。DeepSeekは単一クラスターで1日155兆個のトークンを処理できるとしていますが、これは自社測定であり、他の推論フレームワークと同じ条件で比較した独立検証はありません。
バッチサイズを大きくすると全体の処理量は増えましたが、一定の水準を超えると増加が鈍り、待ち時間が大幅に伸びました。測定ではデータ単位を4096から6万5536に増やすと、GPU当たり毎秒処理量は6万個から8万9000個に増え、遅延時間は70ミリ秒から730ミリ秒に延びました。この結果は入力段階を局所的に測ったもので、リクエストの受付から利用者が最初のトークンを受け取るまでのサービス全体の時間とは異なります。実サービスでは、トークン化、待ち行列、キャッシュ検索、ネットワーク転送、過去の入力データを再利用するかどうかも効率に影響します。
DeepInferは、アテンション演算用のFlashMLA、行列演算用のDeepGEMM、GPU間通信向けのDeepEPなど、複数のGPUカーネルとシステム最適化を組み合わせています。混合専門家モデル（MoE）の演算を複数のGPUに分散し、CPUのタスクスケジューリングとGPU演算を並行して進めます。投機的デコーディングは、ドラフトモデルが生成した次のトークン候補を本モデルが検証して、応答生成を速める方式です。DeepInferはトークンごとの受け入れ可能性に応じて検証作業を調整しますが、性能向上の幅は同時リクエスト数や作業条件によって変わる可能性があります。
長い文脈の処理負荷を抑えるため、スライディングウィンドウ・アテンションで直近128個のトークンを使って必要な状態を再構成し、プリフィルの演算量を減らすとDeepSeekは説明しています。正規表現、JSONスキーマ、EBNF文法で出力形式を制限する機能も備えます。DeepSeekはXで、コミュニティが計算コストとエネルギー消費を削減し、AIをより安価に利用できるよう、実運用のスタックを共有すると述べました。DeepInferはApache 2.0ライセンスで公開され、開発者や企業はコードを確認・変更し、自社の推論環境に利用できます。