NVIDIA Nemotron 3.5 Super VL、Basetenで提供開始
- •Nemotron 3.5 Super VLがBasetenで推論とカスタマイズに対応
- •テキスト・画像・動画とエージェントのツール利用を扱うオープンな120B-A12Bモデル
- •GDPval、SciCode、GPQA-diamondでNemotron 3 Superを上回るスコアとNVIDIAが発表
NVIDIA Nemotron 3.5 Super VLが、推論とカスタマイズ向けにBasetenで利用可能になりました。両社が10月15日に発表しました。オープンな120B-A12Bモデルは、文書、画像、アプリ画面、動画を扱うエージェント向けに、視覚理解、推論、ツール利用を組み合わせています。開発者はBasetenのDedicated APIとModel APIで評価し、Baseten Loopsでカスタマイズできます。
モデルは1,200億パラメーターのMixture-of-Experts設計を採用し、トークンごとに120億パラメーターを有効化します。Nemotron 3 Superのアーキテクチャを基盤とし、長い文脈を処理するためMambaとTransformerの要素を組み合わせています。マルチトークン予測は生成の高速化を目的としています。NVIDIAによると、NVFP4形式のKVキャッシュ量子化で、長文脈推論に必要なメモリーを削減できます。視覚エンコーダーにより、エージェントは文書のレイアウトやスクリーンショットなどの視覚情報をテキストと合わせて解釈します。
NVIDIAが公表したテキストベンチマークの結果では、Nemotron 3.5 Super VLはGDPval AA V2.1で1,190 Eloを記録し、Nemotron 3 Superの493を上回りました。SciCodeの正答率は47.3%で、Nemotron 3 Superの40.8%を上回り、GPQA-diamondでは90.8%に対して79.4%でした。各ベンチマークは、それぞれ専門職の課題、科学分野のコーディング、大学院レベルの科学問題を扱います。
Baseten Loopsはモデルの提供開始日にトレーニング対応を追加しました。Loopsは教師ありファインチューニングと強化学習を提供するBasetenの管理サービスです。トレーニングはPythonスクリプトとLoops SDKを使って実行し、分散トレーニングとGPU基盤はBasetenが運用します。LoopsでNemotron 3 SuperまたはNemotron 3 Ultraをすでにトレーニングしているチームは、ツールを変えずにベースモデルを切り替え、学習済みチェックポイントをBasetenにデプロイできます。同社は、顧客サービス、文書情報処理、企業の生産性向上、ウェブ調査に適したモデルだとしています。