SGLang、モデル状態のGPUメモリーを統合

SGLang、モデル状態のGPUメモリーを統合
2026年11月12日 木曜日
  • •SGLangの技術ブログが、複数のモデル状態でGPUメモリーを共有する設計を説明
  • •32Kトークンの要求では、4Kウィンドウと64トークンページを使い、全体注意に512ページ、ウィンドウに64ページ
  • •投機的デコーディング、Kimi K3.1のDSAインデックス、パイプライン並列処理、処理中のGPU作業にも対応

SGLangは、全体注意のKV、スライディングウィンドウのKV、再帰状態が1つのGPUメモリー領域を共有する設計を採用しています。各状態に起動時から固定容量を割り当てるのではなく、需要に応じて使える容量を調整します。この設計は、2026年11月11日公開のSGLang技術ブログで説明されました。

従来は各状態が別々のメモリープールを使い、「--swa-full-tokens-ratio」や「--mamba-full-memory-ratio」などの起動設定で容量を決めていました。長い文脈の処理では全体注意用の領域が不足する一方、上限のある状態用の容量が余ることがありました。短い要求が多数同時に走る場合には、逆の偏りも起こり得ます。統合メモリーではページやスロットの大きさを状態ごとに保ちつつ、空き領域を共有します。コンパクション(使用中の領域を寄せて空きをまとめる処理)では、稼働中の割り当てを領域の両端へ移し、間に空き領域を作ります。

アロケーターは、各トークンの全レイヤー分の行を1つの項目にまとめるため、割り当て、退去、ページ移動をまとめて行えます。行ごとに形状やデータ型が異なる場合にも対応します。互換性のある投機的デコーディング用の草案KVを対象KVと同じ項目に入れられ、Kimi K3.1では各DSAレイヤーの上位kインデックスをMLAのKVの隣に置けます。状態スロットには、状態レイヤーの畳み込み状態と時間状態も格納します。Inklingなど、3種類すべての状態を持つモデルも、組み合わせごとに別のアロケーターを設けずに扱えます。

4Kのスライディングウィンドウと64トークンページを使う32Kトークン要求では、定常時の使用量は全体注意のKVが512ページ、ウィンドウのKVが64ページです。再帰状態を持つ要求にはスロットも必要です。受け入れ判定では、ページ単位の丸め、予想される生成量、一時的に残る可能性があるウィンドウ行を含め、必要量をまとめて見積もります。この見積もりは、生成数の上限、プレフィル要求の受け入れ、チャンクの確保、プレフィルとデコードの分離処理における事前割り当てに使われます。プランナーは、再利用とその場での拡張、領域端の帯の圧縮、浮動帯の移動を確認し、具体的な配置を決める前に実現可能か判断します。パイプライン並列処理では、各段階がループ開始時に領域の形状情報を交換し、同じ論理上の要求数をそれぞれ確認します。

重なり実行スケジューラーは、前の順方向計算が動いている間に次の処理を準備するため、要求が解放したページをすぐ上書きできるとは限りません。論理上の解放分は直ちに容量に数えますが、未完了の読み書きが処理または完了するまでは物理的に再利用しません。移動ではデータをコピーして仮想・物理間の対応を切り替えます。以前からの読み手は元の場所で処理を終えられ、コピーは以前の書き込みより後に実行される必要があります。設計は保留中のページ、再利用可能な空き穴、移動元の保護、後退する境界を越えたバイト列のフェンスも扱います。重なり実行スケジューリング、Radixキャッシュ、HiCache、プレフィルとデコードの分離、投機的デコーディング、パイプライン並列処理、デコード時のコンテキスト並列処理、データ並列アテンションに対応します。確認できる記事本文は、重点的なテストと制限に触れたところで終わり、詳細は示していません。

AIBニュースレターを購読

最も速く正確なAIニュースをメールでいかがですか?