SGLangとMilesは2026年10月15日、Muse Spark Openの推論と学習を初日から支援すると発表しました。このオープンウェイトのマルチモーダル混合専門家モデルは、816Bパラメーターのテキスト変換器を基盤とし、トークンごとの有効パラメーター数は約42 billionです。テキスト、画像、動画、音声を入力でき、コンテキスト長は1Mトークンです。チェックポイントはNVFP4とBF16で提供されます。対応先はNVIDIA Blackwell GPU（GB300、B300、GB200、B200）、NVIDIA H200、AMD MI350XとMI355X、Pコア搭載のIntel Xeon 6です。

SGLangによると、NVFP4チェックポイントを使い、NVIDIA B300 GPU 8基でOpenHandsの複数ターンのエージェント型コーディングを再生したところ、同時実行数1ではGPU当たり合計毎秒14.8Kトークン、利用者当たり毎秒543トークン（p50）でした。同時実行数128では、GPU当たり合計毎秒80.3Kトークン、利用者当たり毎秒61トークン（p50）を記録しました。SGLangはNVFP4 MegaMoEによるシーケンス並列化、マルチモーダル前処理の最適化、DFlash V2による投機的デコーディングにも対応します。

モデルの1Mトークンのコンテキストでは、グループ化クエリ注意機構がクエリヘッド群の間でキー・バリューヘッドを共有します。スライディングウィンドウ層は直近の限られた範囲を処理し、定期的に置かれたグローバル層は系列全体へのアクセスを保ちます。画像と動画フレームには共通のNaViT視覚エンコーダーを使い、音声には別のエンコーダーを使います。それぞれの出力はデコーダーでテキスト埋め込みと合流します。混合専門家ブロックはプーラーとアンプーラーの射影で特徴量の幅を圧縮・復元し、専門家ごとのRMS正規化を経てから出力を重み付けして統合します。

SGLangは4基のGB300 GPUで、NVFP4のターゲットモデル、DFlash V2のドラフトモデル、TP4/EP4、FP8のKVキャッシュ、16Kのプレフィルチャンクを使った3構成を比較しました。各テストでは8件ずつのグループを8組送り、リクエストごとの入力は名目上80Kトークン、出力は20トークンでした。同じグループ内のリクエストは生成済みの73,360トークンの接頭部を共有し、グループごとに別々の接頭部を使いました。7段階の同時実行数全体で、シーケンス並列化とMegaMoEの組み合わせは、初回トークンまでの時間のp90をTP4比28.3～41.9％短縮しました。同時実行数64では、同指標が29.03秒から19.47秒に下がり、短縮率は32.9％でした。

SGLangは、CPU上でRustまたはPillowを使って画像・動画をリサイズする前処理、視覚エンコード用に最適化した注意機構のバックエンド、会話の別ターンで画像が再登場した場合のキャッシュ結果の再利用も説明しました。分離されたエンコーダー、プレフィル、デコードのワーカーは、エンコード済みメディア特徴量とKVキャッシュを各段階で受け渡します。ほかに、プレフィルとデコードの分離、GPUとホスト間のKVキャッシュ階層であるHiCache、分割可能なCUDAグラフも利用できます。

DFlash V2はドラフトモデルでMuse Spark Openが検証する将来のトークンブロックを提案します。動的畳み込みが隣接するドラフト位置の情報を混ぜ、候補選択器が提案トークン間の依存関係を考慮します。SGLangは提案と選択を1つのCUDAグラフに統合し、処理を重ねるスケジューリングに対応します。サンプリングした提案のブロック検証では、ターゲットモデルとドラフトモデルの確率を使ってドラフトの接頭部をまとめて評価し、有効な最長接頭部を受け入れます。一部だけ受け入れた場合は修正トークンをサンプリングし、すべて受け入れた場合はターゲットモデルのボーナストークンを加えます。

チームは、正規化と残差演算の融合、メモリーアクセス回数の削減、CUDAによるルーティング、プーラーとアンプーラーの射影の分割、独立した混合専門家処理の並行実行など、カーネルの変更も説明しました。DeepGEMMのMegaMoEは、振り分け、専門家計算、活性化、統合を永続カーネルにまとめます。Muse Spark Openのサポートには、60層でNVFP4の重みと活性化、2層でBF16の専門家、ルート重み付け前の専門家ごとのRMS正規化が必要です。記事の残りの節では、AMDとIntelのプラットフォーム対応、強化学習、学習可能なバックエンド、トークン整合性を保つ複数ターンのロールアウト、学習結果、謝辞、再現手順を列挙しています。

SGLangとMilesは2026年10月15日、Muse Spark Openの推論と学習を初日から支援すると発表しました。このオープンウェイトのマルチモーダル混合専門家モデルは、816Bパラメーターのテキスト変換器を基盤とし、トークンごとの有効パラメーター数は約42 billionです。テキスト、画像、動画、音声を入力でき、コンテキスト長は1Mトークンです。チェックポイントはNVFP4とBF16で提供されます。対応先はNVIDIA Blackwell GPU（GB300、B300、GB200、B200）、NVIDIA H200、AMD MI350XとMI355X、Pコア搭載のIntel Xeon 6です。

SGLangによると、NVFP4チェックポイントを使い、NVIDIA B300 GPU 8基でOpenHandsの複数ターンのエージェント型コーディングを再生したところ、同時実行数1ではGPU当たり合計毎秒14.8Kトークン、利用者当たり毎秒543トークン（p50）でした。同時実行数128では、GPU当たり合計毎秒80.3Kトークン、利用者当たり毎秒61トークン（p50）を記録しました。SGLangはNVFP4 MegaMoEによるシーケンス並列化、マルチモーダル前処理の最適化、DFlash V2による投機的デコーディングにも対応します。

モデルの1Mトークンのコンテキストでは、グループ化クエリ注意機構がクエリヘッド群の間でキー・バリューヘッドを共有します。スライディングウィンドウ層は直近の限られた範囲を処理し、定期的に置かれたグローバル層は系列全体へのアクセスを保ちます。画像と動画フレームには共通のNaViT視覚エンコーダーを使い、音声には別のエンコーダーを使います。それぞれの出力はデコーダーでテキスト埋め込みと合流します。混合専門家ブロックはプーラーとアンプーラーの射影で特徴量の幅を圧縮・復元し、専門家ごとのRMS正規化を経てから出力を重み付けして統合します。

SGLangは4基のGB300 GPUで、NVFP4のターゲットモデル、DFlash V2のドラフトモデル、TP4/EP4、FP8のKVキャッシュ、16Kのプレフィルチャンクを使った3構成を比較しました。各テストでは8件ずつのグループを8組送り、リクエストごとの入力は名目上80Kトークン、出力は20トークンでした。同じグループ内のリクエストは生成済みの73,360トークンの接頭部を共有し、グループごとに別々の接頭部を使いました。7段階の同時実行数全体で、シーケンス並列化とMegaMoEの組み合わせは、初回トークンまでの時間のp90をTP4比28.3～41.9％短縮しました。同時実行数64では、同指標が29.03秒から19.47秒に下がり、短縮率は32.9％でした。

SGLangは、CPU上でRustまたはPillowを使って画像・動画をリサイズする前処理、視覚エンコード用に最適化した注意機構のバックエンド、会話の別ターンで画像が再登場した場合のキャッシュ結果の再利用も説明しました。分離されたエンコーダー、プレフィル、デコードのワーカーは、エンコード済みメディア特徴量とKVキャッシュを各段階で受け渡します。ほかに、プレフィルとデコードの分離、GPUとホスト間のKVキャッシュ階層であるHiCache、分割可能なCUDAグラフも利用できます。

DFlash V2はドラフトモデルでMuse Spark Openが検証する将来のトークンブロックを提案します。動的畳み込みが隣接するドラフト位置の情報を混ぜ、候補選択器が提案トークン間の依存関係を考慮します。SGLangは提案と選択を1つのCUDAグラフに統合し、処理を重ねるスケジューリングに対応します。サンプリングした提案のブロック検証では、ターゲットモデルとドラフトモデルの確率を使ってドラフトの接頭部をまとめて評価し、有効な最長接頭部を受け入れます。一部だけ受け入れた場合は修正トークンをサンプリングし、すべて受け入れた場合はターゲットモデルのボーナストークンを加えます。

チームは、正規化と残差演算の融合、メモリーアクセス回数の削減、CUDAによるルーティング、プーラーとアンプーラーの射影の分割、独立した混合専門家処理の並行実行など、カーネルの変更も説明しました。DeepGEMMのMegaMoEは、振り分け、専門家計算、活性化、統合を永続カーネルにまとめます。Muse Spark Openのサポートには、60層でNVFP4の重みと活性化、2層でBF16の専門家、ルート重み付け前の専門家ごとのRMS正規化が必要です。記事の残りの節では、AMDとIntelのプラットフォーム対応、強化学習、学習可能なバックエンド、トークン整合性を保つ複数ターンのロールアウト、学習結果、謝辞、再現手順を列挙しています。