SGLang、DeepInferとのベンチマーク結果を報告

DeepSeekは、サービスを支える推論エンジンDeepInferとそのカーネルをオープンソース化しました。SGLangは同じハードウェア上でDeepInferのベンチマークを使って性能を測定し、同等以上の結果を報告しました。4基のGB300と4基のB300ではプリフィル処理のスループットが最大1.04倍となり、64基のGB300ではデコード処理のステップ時間が最大7.4％短くなりました。他の測定点では差が1％以内でした。

SGLangはFlashMLA、DeepGEMM、DeepEP、DeepSelect、TileLangと、MegaAttention、MegaMoE、MegaGate、Mega-mHCからなるMegaシリーズなど、DeepSeekのカーネルを統合しています。MegaMoEは、トークンの振り分け、専門家行列の計算、結果の統合を1つのカーネルで行います。MegaAttentionはB300とGB300で標準のアテンション処理経路として使われ、単一サーバーとプリフィル・デコード用サーバーに対応します。SGLangはデータ並列アテンションと専門家並列処理を用い、試験ではプリフィルにDEP4、64基のGB300を使うデコードにDEP64を適用しました。

SGLangは投機的デコーディング方式のDSparkも実行します。DSparkはトークンのまとまりを提案し、対象モデルがまとめて検証します。また、SWAの制限付きリプレイでは、デコーダー後段の層がプロンプト末尾の128トークンだけを処理します。Engramのテーブルはホストメモリーに置くか、複数のGPUに分散し、NVLink経由で直接読み出せます。

4基のGB300を使ったプリフィル試験では、SGLangは新規トークン数がGPU当たり1ステップで4K、32K、64KのときにDeepInferを上回り、8Kと16Kでは同等で、スループットは最大1.04倍でした。4基のB300では4K、8K、32Kで上回り、16Kと64Kで同等となり、最大1.04倍に達しました。64基のGB300を使ったデコード試験では、GPU当たり16～256件のリクエストでステップ時間が1.1～7.4％短く、8件ではDeepInferと同等でした。プリフィルの比較では各測定点でDeepInferが試した構成のうち最速の結果を使いました。ベンチマークのコンテキスト長は128Kトークンで、プリフィルは1ステップ当たり4K～64Kの新規トークンを試しました。デコードでは1ステップ当たり3つのドラフトトークンを使い、ステップ時間を、1ステップ当たり平均3.25トークンが採用された場合のトークン数に換算しました。

SGLangによると、速度向上は中間メモリー通信とカーネル起動の削減によるものです。Mega-mHCの出力をMegaMoEに直接渡し、アテンションのMXFP8出力を出力射影に使うほか、プリフィル時の圧縮とリクエスト窓のKVコピーに融合カーネルを使います。CPUが次のステップを準備しながらGPUが現在のステップを実行するスケジューラーは、2024年12月のv0.4以降に採用されています。DeepInferの文書もこの設計をSGLangによるものとしています。SGLangは、リクエスト間や会話ターン間でKVを再利用する統合ラディックスキャッシュ、KV転送方式を選べるプリフィル・デコード別サーバー構成、キャッシュ済みのプレフィックスなどに基づいてレプリカ間のリクエストを振り分けるモデルゲートウェイも提供します。システムはNVIDIA GB300、B300、B200、H200とAMD MI355X上でAPIサーバーとして動作します。

DeepSeekは、サービスを支える推論エンジンDeepInferとそのカーネルをオープンソース化しました。SGLangは同じハードウェア上でDeepInferのベンチマークを使って性能を測定し、同等以上の結果を報告しました。4基のGB300と4基のB300ではプリフィル処理のスループットが最大1.04倍となり、64基のGB300ではデコード処理のステップ時間が最大7.4％短くなりました。他の測定点では差が1％以内でした。

SGLangはFlashMLA、DeepGEMM、DeepEP、DeepSelect、TileLangと、MegaAttention、MegaMoE、MegaGate、Mega-mHCからなるMegaシリーズなど、DeepSeekのカーネルを統合しています。MegaMoEは、トークンの振り分け、専門家行列の計算、結果の統合を1つのカーネルで行います。MegaAttentionはB300とGB300で標準のアテンション処理経路として使われ、単一サーバーとプリフィル・デコード用サーバーに対応します。SGLangはデータ並列アテンションと専門家並列処理を用い、試験ではプリフィルにDEP4、64基のGB300を使うデコードにDEP64を適用しました。

SGLangは投機的デコーディング方式のDSparkも実行します。DSparkはトークンのまとまりを提案し、対象モデルがまとめて検証します。また、SWAの制限付きリプレイでは、デコーダー後段の層がプロンプト末尾の128トークンだけを処理します。Engramのテーブルはホストメモリーに置くか、複数のGPUに分散し、NVLink経由で直接読み出せます。

4基のGB300を使ったプリフィル試験では、SGLangは新規トークン数がGPU当たり1ステップで4K、32K、64KのときにDeepInferを上回り、8Kと16Kでは同等で、スループットは最大1.04倍でした。4基のB300では4K、8K、32Kで上回り、16Kと64Kで同等となり、最大1.04倍に達しました。64基のGB300を使ったデコード試験では、GPU当たり16～256件のリクエストでステップ時間が1.1～7.4％短く、8件ではDeepInferと同等でした。プリフィルの比較では各測定点でDeepInferが試した構成のうち最速の結果を使いました。ベンチマークのコンテキスト長は128Kトークンで、プリフィルは1ステップ当たり4K～64Kの新規トークンを試しました。デコードでは1ステップ当たり3つのドラフトトークンを使い、ステップ時間を、1ステップ当たり平均3.25トークンが採用された場合のトークン数に換算しました。

SGLangによると、速度向上は中間メモリー通信とカーネル起動の削減によるものです。Mega-mHCの出力をMegaMoEに直接渡し、アテンションのMXFP8出力を出力射影に使うほか、プリフィル時の圧縮とリクエスト窓のKVコピーに融合カーネルを使います。CPUが次のステップを準備しながらGPUが現在のステップを実行するスケジューラーは、2024年12月のv0.4以降に採用されています。DeepInferの文書もこの設計をSGLangによるものとしています。SGLangは、リクエスト間や会話ターン間でKVを再利用する統合ラディックスキャッシュ、KV転送方式を選べるプリフィル・デコード別サーバー構成、キャッシュ済みのプレフィックスなどに基づいてレプリカ間のリクエストを振り分けるモデルゲートウェイも提供します。システムはNVIDIA GB300、B300、B200、H200とAMD MI355X上でAPIサーバーとして動作します。