SGLangとMilesは、100万トークンのコンテキストウィンドウを持つ9750億パラメータのマルチモーダルモデル「Inkling」への対応を発表した。Inklingはフロンティアモデルとして開発され、ショート畳み込み、相対位置埋め込み、混合専門家(MoE)設計における共有エキスパートシンクという独自アーキテクチャを採用している。SGLangはNvidia Blackwell GPU向けに最適化を提供し、最大71.7k tok/sの入力スループットと171.0 tok/sのユーザーあたりのデコード速度を実現した。これらはShortConv用の融合カーネルや相対バイアス用カーネル、線形化された重みレイアウトによって達成されている。

SGLangの最適化は、従来のデコーダー専用モデルとは異なる3つの設計要素に対処する。まず、ShortConv実装ではカーネルを融合し、K/V畳み込みや正規化、KVキャッシュ書き込みを統合することで、未融合時と比較して2.08〜3.60倍の高速化を実現した。次に、相対ロジットはFlashAttention-4の統合環境下で処理され、タイル読み込みを介してバイアスを加算する。最後に、混合専門家(MoE)は重みレイアウトの線形化により、エキスパートごとのバッチ処理を2つの密な行列演算(GEMM)へと変換することで、B200 W4A16構成において入力スループットを5.8〜11.1%向上させた。

Milesプラットフォームは、カスタマイズされたMegatronバックエンドにInklingを実装し、テキストおよび視覚言語タスク全体でフルパラメータおよびLoRAでの強化学習をサポートする。また、Modalが開発したInkling専用のドラフトモデル「DFlash」を用いた投機的デコーディングにも対応している。ソフトウェアスタックはデータ、パイプライン、テンソル並列化など幅広い分散学習戦略を網羅しており、9750億パラメータ規模での効率的な強化学習デプロイを可能にしている。

SGLangとMilesは、100万トークンのコンテキストウィンドウを持つ9750億パラメータのマルチモーダルモデル「Inkling」への対応を発表した。Inklingはフロンティアモデルとして開発され、ショート畳み込み、相対位置埋め込み、混合専門家(MoE)設計における共有エキスパートシンクという独自アーキテクチャを採用している。SGLangはNvidia Blackwell GPU向けに最適化を提供し、最大71.7k tok/sの入力スループットと171.0 tok/sのユーザーあたりのデコード速度を実現した。これらはShortConv用の融合カーネルや相対バイアス用カーネル、線形化された重みレイアウトによって達成されている。

SGLangの最適化は、従来のデコーダー専用モデルとは異なる3つの設計要素に対処する。まず、ShortConv実装ではカーネルを融合し、K/V畳み込みや正規化、KVキャッシュ書き込みを統合することで、未融合時と比較して2.08〜3.60倍の高速化を実現した。次に、相対ロジットはFlashAttention-4の統合環境下で処理され、タイル読み込みを介してバイアスを加算する。最後に、混合専門家(MoE)は重みレイアウトの線形化により、エキスパートごとのバッチ処理を2つの密な行列演算(GEMM)へと変換することで、B200 W4A16構成において入力スループットを5.8〜11.1%向上させた。

Milesプラットフォームは、カスタマイズされたMegatronバックエンドにInklingを実装し、テキストおよび視覚言語タスク全体でフルパラメータおよびLoRAでの強化学習をサポートする。また、Modalが開発したInkling専用のドラフトモデル「DFlash」を用いた投機的デコーディングにも対応している。ソフトウェアスタックはデータ、パイプライン、テンソル並列化など幅広い分散学習戦略を網羅しており、9750億パラメータ規模での効率的な強化学習デプロイを可能にしている。