SGLangは2026年10月15日、NVIDIA Nemotron 3.5 Super VLをサービングレイヤー経由で動かす手順とともに、同モデルへの初日からのサービング対応を追加しました。NVIDIAによると、このオープンなマルチモーダルモデルはテキスト、画像、文書、動画を入力として受け取り、エージェントの推論やツール利用向けにテキストを出力します。専門家混合アーキテクチャを採用し、総パラメーター数は1,200億、トークンごとの稼働数は120億です。

Nemotron 3ファミリーでは、高精度なマルチモーダル実行モデルに位置づけられ、Nemotron 3.5 LightningとNemotron 3 Ultraが並びます。NVIDIAによると、組織はNeMoを使って、分野固有の用語、タスク、方針、ツール利用のパターンに合わせて調整できます。想定される用途には、カスタマーサービスのスクリーンショットやフォームの解釈、報告書とスキャン文書の比較、業務ソフトウェアでの複数段階の作業支援、動画分析、ウェブ調査があります。

SGLangはこのモデルのサービングで、連続バッチ処理、プレフィックスキャッシュ、投機的デコーディング、OpenAI互換APIに対応します。ガイドでは、デコード時に複数の後続トークンを提案し、検証するマルチトークン予測（MTP）を説明し、単一のRTX 6000 PROで毎秒243.9トークンを処理したと報告しています。NVIDIAが挙げる展開先はDGX Spark、GB10 1基、B200、B300、RTX PRO 6000、H200、H100 2基です。

NVIDIAによると、ハイブリッド型のMamba-Transformer設計、MTP、LatentMoE、NVFP4量子化は、長い文脈を扱うマルチモーダルなエージェントタスクで、スループットとメモリー効率を高めることを目的としています。同社の数値では、単一GPU上で同規模の他のオープンモデルと比べ、エージェントタスクのスループットは最大5倍です。BasetenのエンドポイントではArtificial Analysis Intelligence Indexのエージェントタスクで毎秒600トークン超を記録し、同規模の他の主要オープンモデルよりタスク完了が4倍速いとしています。ガイドでは、Hugging Face経由でBF16とNVFP4の重みを提供し、SGLangで展開するための入門クックブックも案内しています。

SGLangは2026年10月15日、NVIDIA Nemotron 3.5 Super VLをサービングレイヤー経由で動かす手順とともに、同モデルへの初日からのサービング対応を追加しました。NVIDIAによると、このオープンなマルチモーダルモデルはテキスト、画像、文書、動画を入力として受け取り、エージェントの推論やツール利用向けにテキストを出力します。専門家混合アーキテクチャを採用し、総パラメーター数は1,200億、トークンごとの稼働数は120億です。

Nemotron 3ファミリーでは、高精度なマルチモーダル実行モデルに位置づけられ、Nemotron 3.5 LightningとNemotron 3 Ultraが並びます。NVIDIAによると、組織はNeMoを使って、分野固有の用語、タスク、方針、ツール利用のパターンに合わせて調整できます。想定される用途には、カスタマーサービスのスクリーンショットやフォームの解釈、報告書とスキャン文書の比較、業務ソフトウェアでの複数段階の作業支援、動画分析、ウェブ調査があります。

SGLangはこのモデルのサービングで、連続バッチ処理、プレフィックスキャッシュ、投機的デコーディング、OpenAI互換APIに対応します。ガイドでは、デコード時に複数の後続トークンを提案し、検証するマルチトークン予測（MTP）を説明し、単一のRTX 6000 PROで毎秒243.9トークンを処理したと報告しています。NVIDIAが挙げる展開先はDGX Spark、GB10 1基、B200、B300、RTX PRO 6000、H200、H100 2基です。

NVIDIAによると、ハイブリッド型のMamba-Transformer設計、MTP、LatentMoE、NVFP4量子化は、長い文脈を扱うマルチモーダルなエージェントタスクで、スループットとメモリー効率を高めることを目的としています。同社の数値では、単一GPU上で同規模の他のオープンモデルと比べ、エージェントタスクのスループットは最大5倍です。BasetenのエンドポイントではArtificial Analysis Intelligence Indexのエージェントタスクで毎秒600トークン超を記録し、同規模の他の主要オープンモデルよりタスク完了が4倍速いとしています。ガイドでは、Hugging Face経由でBF16とNVFP4の重みを提供し、SGLangで展開するための入門クックブックも案内しています。