KDnuggetsはAugust 31, 2026、同一GPU上のQwen3-8Bを使い、llama.cppでDSparkの投機的デコーディングによりローカルLLM推論を高速化する実践ガイドを公開した。ガイドは通常のQwen3-8B実行とDSpark支援の実行を比較し、生成スループットが95.0 tokens/sから124.9 tokens/sへ上がり、1.31×の高速化、生成速度でおよそ31.5%向上したと報告した。

投機的デコーディングは、ドラフトモデルが提案したトークンをターゲットモデルが検証する方式で、GPUを追加せずに生成速度を上げられる。従来の投機的デコーディングは小さなドラフトモデルを使う一方、Multi-Token Predictionは将来の複数トークンを一度に予測する。関連手法としてMedusa、EAGLE、DFlashが挙げられ、DSparkは並列ドラフト生成に軽量な逐次要素を組み合わせる点が異なる。後続のドラフトトークンが先行予測の情報を使いながら、並列生成の速度を大きく保てるためだ。

DeepSeekは、DeepSeek-V4での導入時にDSparkが従来のMTP-1本番ベースラインと比べ、ユーザー別生成速度を60–85%改善したと報告している。ガイドは、この数値を小規模ローカルモデルの期待結果として扱うべきではないと警告し、Qwen3-8Bをllama.cppで直接測定した。DSparkはドラフトトークンが検証を通過しそうか推定できるため、信頼度の低いブロック部分には検証計算を使わず破棄できる。

セットアップでは、CUDAアクセラレーション付きの最新llama.cppをcmake、-DBUILD_SHARED_LIBS=OFF、-DGGML_CUDA=ONでソースからビルドし、モデルファイル用に/workspace/modelsを作成する。ターゲットモデルとしてQwen/Qwen3-8B-GGUFからQwen3-8B-Q4_K_M.ggufを、対応するDSparkドラフトモデルとしてggml-org/Qwen3-8B-GGUFからdspark-Qwen3-8B-Q8_0.ggufをダウンロードする。記載されたファイルサイズはQwen3-8B-Q4_K_M.ggufが4.7G、dspark-Qwen3-8B-Q8_0.ggufが1.2Gだった。

ベースラインのベンチマークは、投機的デコーディングなしでQwen3-8Bを実行した。設定は全レイヤーをGPUへオフロードする-ngl all、FlashAttention用の-fa on、--temp 0、--top-k 1、-n 512で、/no_thinkで終わる同じマージソートのプロンプトを使った。llama.cppはPrompt: 294.6 t/s、Generation: 95.0 t/sを報告し、Generation: 95.0 tokens/sがベースラインになった。

DSparkのベンチマークでは-mdでドラフトモデルを接続し、--spec-type draft-dsparkを有効にし、--spec-draft-n-max 3でDSparkが一度に最大3トークンをドラフトできるようにした。さらに-ngld allでドラフトモデルをGPUへオフロードした。DSpark実行の結果はPrompt: 88.0 t/s、Generation: 124.9 t/sだった。ガイドはDSpark実行でプロンプト処理速度が低下するとしつつ、測定上の利点は自己回帰的な生成速度にあり、長い応答を生成するワークロードではその方が重要だと説明した。

ガイドは、MTPがより単純で幅広いモデルで利用できるため、ローカルLLM高速化では実用的な場合が多いと結論づけた。DSparkは、ドラフト品質の向上により受理される投機トークンが増える場合、基本的なMulti-Token Predictionより優位に立つ可能性がある。ただし、現在利用できる互換DSparkドラフトモデルは少数に限られ、モデル対応は限定的だ。llama.cppでの対応も比較的新しく、モデルやビルドによってバグや不安定さが出る可能性があるとされた。

KDnuggetsはAugust 31, 2026、同一GPU上のQwen3-8Bを使い、llama.cppでDSparkの投機的デコーディングによりローカルLLM推論を高速化する実践ガイドを公開した。ガイドは通常のQwen3-8B実行とDSpark支援の実行を比較し、生成スループットが95.0 tokens/sから124.9 tokens/sへ上がり、1.31×の高速化、生成速度でおよそ31.5%向上したと報告した。

投機的デコーディングは、ドラフトモデルが提案したトークンをターゲットモデルが検証する方式で、GPUを追加せずに生成速度を上げられる。従来の投機的デコーディングは小さなドラフトモデルを使う一方、Multi-Token Predictionは将来の複数トークンを一度に予測する。関連手法としてMedusa、EAGLE、DFlashが挙げられ、DSparkは並列ドラフト生成に軽量な逐次要素を組み合わせる点が異なる。後続のドラフトトークンが先行予測の情報を使いながら、並列生成の速度を大きく保てるためだ。

DeepSeekは、DeepSeek-V4での導入時にDSparkが従来のMTP-1本番ベースラインと比べ、ユーザー別生成速度を60–85%改善したと報告している。ガイドは、この数値を小規模ローカルモデルの期待結果として扱うべきではないと警告し、Qwen3-8Bをllama.cppで直接測定した。DSparkはドラフトトークンが検証を通過しそうか推定できるため、信頼度の低いブロック部分には検証計算を使わず破棄できる。

セットアップでは、CUDAアクセラレーション付きの最新llama.cppをcmake、-DBUILD_SHARED_LIBS=OFF、-DGGML_CUDA=ONでソースからビルドし、モデルファイル用に/workspace/modelsを作成する。ターゲットモデルとしてQwen/Qwen3-8B-GGUFからQwen3-8B-Q4_K_M.ggufを、対応するDSparkドラフトモデルとしてggml-org/Qwen3-8B-GGUFからdspark-Qwen3-8B-Q8_0.ggufをダウンロードする。記載されたファイルサイズはQwen3-8B-Q4_K_M.ggufが4.7G、dspark-Qwen3-8B-Q8_0.ggufが1.2Gだった。

ベースラインのベンチマークは、投機的デコーディングなしでQwen3-8Bを実行した。設定は全レイヤーをGPUへオフロードする-ngl all、FlashAttention用の-fa on、--temp 0、--top-k 1、-n 512で、/no_thinkで終わる同じマージソートのプロンプトを使った。llama.cppはPrompt: 294.6 t/s、Generation: 95.0 t/sを報告し、Generation: 95.0 tokens/sがベースラインになった。

DSparkのベンチマークでは-mdでドラフトモデルを接続し、--spec-type draft-dsparkを有効にし、--spec-draft-n-max 3でDSparkが一度に最大3トークンをドラフトできるようにした。さらに-ngld allでドラフトモデルをGPUへオフロードした。DSpark実行の結果はPrompt: 88.0 t/s、Generation: 124.9 t/sだった。ガイドはDSpark実行でプロンプト処理速度が低下するとしつつ、測定上の利点は自己回帰的な生成速度にあり、長い応答を生成するワークロードではその方が重要だと説明した。

ガイドは、MTPがより単純で幅広いモデルで利用できるため、ローカルLLM高速化では実用的な場合が多いと結論づけた。DSparkは、ドラフト品質の向上により受理される投機トークンが増える場合、基本的なMulti-Token Predictionより優位に立つ可能性がある。ただし、現在利用できる互換DSparkドラフトモデルは少数に限られ、モデル対応は限定的だ。llama.cppでの対応も比較的新しく、モデルやビルドによってバグや不安定さが出る可能性があるとされた。