NVIDIA、4GBで動く軽量エージェントモデル公開

NVIDIAは現地時間23日、約4GBのメモリーで動作するよう設計したオープンソースの軽量言語モデル「Nemotron 3.5 Bolt E4B 4GB」を公開しました。Windows PCやエッジコンピューティング、ロボット開発環境で音声・視覚モデルと併用できるよう、メモリー使用量を抑えています。ゲームやロボット分野の開発者が性能とメモリーのバランスを取れるよう設計され、Google Gemma 4 E4Bを基盤にNVIDIAの事後学習手法を適用しました。GeForce RTX、Jetson、RTX Spark、DGX Sparkで実行できます。

主要な対話型エージェント評価では、旧モデルのNemotron 3 Nano 4Bより平均スコアが約40％高く、比較対象モデルを平均約10％上回りました。推論機能を有効にした比較では、出力トークン数を最大80％削減しました。NVIDIAは、テキスト生成を減らすことで計算量とコストが下がり、応答速度が改善する可能性があると説明しています。21種類のベンチマークすべてで優位だったわけではなく、15種類で競合モデルを上回りました。長い文脈の処理やツール呼び出しの一部評価ではQwen 3.5-4Bが優位で、Tau2-BenchのスコアはBoltが55.1点、Qwen 3.5-4Bが75.1点でした。記事は、実際の導入環境に即した性能検証が必要だとしています。

ベンチマークと最初のトークン生成時間（TTFT）は、RTX 5090で主要なエージェント評価6種類の平均として測定されました。ローカルモデルにはQ4_K_M量子化を適用し、クラウドモデルと性能・速度を比較しています。モデルは対話中にAPIを呼び出して作業を行い、複数回のやり取りを続けられます。非同期ツール呼び出しのガイドも提供されます。音声インターフェース向けの短い回答モードや、依頼の複雑さに応じて切り替える推論機能があり、推論時間と出力量を制限して遅延の要件に合わせられます。

コンテキスト長は最大6万4000トークンで、会話履歴、システム指示、ツール定義、検索結果、アプリケーションの状態をまとめて処理します。対応言語は35言語で、基盤モデルは140以上の言語で事前学習されています。用途として、PC・モバイル・スマートホーム・自動車の音声アシスタント、会話と行動を組み合わせるゲームのNPCや仮想コンパニオン、ロボットや重機を制御する組み込み・産業用エージェントが挙げられています。NVIDIAは、ローカル実行により外部サーバーへの依存を減らし、メモリー、遅延、互換性、運用コスト、プライバシーの制約を緩和できると説明しています。

事後学習には、検証可能な報酬に基づく強化学習（RLVR）と人間のフィードバックに基づく強化学習（RLHF）を用い、Nemo-RLとNemo-Gymのフレームワークを採用しました。ツール呼び出し、指示への追従、構造化出力、複数ターンの対話を学習させ、推論データと非推論データを2対1の比率で構成しました。学習後に選んだBF16チェックポイントをQ4_K_Mで量子化し、重要度行列の補正には約100万トークンの強化学習データを使用しました。

並列推論向けのDFlashドラフト生成器も公開しました。1回の順伝播で複数の候補トークンを生成し、対象モデルが並列に検証する方式です。NVIDIAによると、Gemma 4 E4Bの従来のドラフト生成器と比べ、スループットを最大21％高められます。モデルはHugging Face、Ollama、LM Studio、Unsloth、Jetson AI Labで利用でき、ゲーム内推論SDKを使ってゲームキャラクターに組み込めます。

NVIDIAは現地時間23日、約4GBのメモリーで動作するよう設計したオープンソースの軽量言語モデル「Nemotron 3.5 Bolt E4B 4GB」を公開しました。Windows PCやエッジコンピューティング、ロボット開発環境で音声・視覚モデルと併用できるよう、メモリー使用量を抑えています。ゲームやロボット分野の開発者が性能とメモリーのバランスを取れるよう設計され、Google Gemma 4 E4Bを基盤にNVIDIAの事後学習手法を適用しました。GeForce RTX、Jetson、RTX Spark、DGX Sparkで実行できます。

主要な対話型エージェント評価では、旧モデルのNemotron 3 Nano 4Bより平均スコアが約40％高く、比較対象モデルを平均約10％上回りました。推論機能を有効にした比較では、出力トークン数を最大80％削減しました。NVIDIAは、テキスト生成を減らすことで計算量とコストが下がり、応答速度が改善する可能性があると説明しています。21種類のベンチマークすべてで優位だったわけではなく、15種類で競合モデルを上回りました。長い文脈の処理やツール呼び出しの一部評価ではQwen 3.5-4Bが優位で、Tau2-BenchのスコアはBoltが55.1点、Qwen 3.5-4Bが75.1点でした。記事は、実際の導入環境に即した性能検証が必要だとしています。

ベンチマークと最初のトークン生成時間（TTFT）は、RTX 5090で主要なエージェント評価6種類の平均として測定されました。ローカルモデルにはQ4_K_M量子化を適用し、クラウドモデルと性能・速度を比較しています。モデルは対話中にAPIを呼び出して作業を行い、複数回のやり取りを続けられます。非同期ツール呼び出しのガイドも提供されます。音声インターフェース向けの短い回答モードや、依頼の複雑さに応じて切り替える推論機能があり、推論時間と出力量を制限して遅延の要件に合わせられます。

コンテキスト長は最大6万4000トークンで、会話履歴、システム指示、ツール定義、検索結果、アプリケーションの状態をまとめて処理します。対応言語は35言語で、基盤モデルは140以上の言語で事前学習されています。用途として、PC・モバイル・スマートホーム・自動車の音声アシスタント、会話と行動を組み合わせるゲームのNPCや仮想コンパニオン、ロボットや重機を制御する組み込み・産業用エージェントが挙げられています。NVIDIAは、ローカル実行により外部サーバーへの依存を減らし、メモリー、遅延、互換性、運用コスト、プライバシーの制約を緩和できると説明しています。

事後学習には、検証可能な報酬に基づく強化学習（RLVR）と人間のフィードバックに基づく強化学習（RLHF）を用い、Nemo-RLとNemo-Gymのフレームワークを採用しました。ツール呼び出し、指示への追従、構造化出力、複数ターンの対話を学習させ、推論データと非推論データを2対1の比率で構成しました。学習後に選んだBF16チェックポイントをQ4_K_Mで量子化し、重要度行列の補正には約100万トークンの強化学習データを使用しました。

並列推論向けのDFlashドラフト生成器も公開しました。1回の順伝播で複数の候補トークンを生成し、対象モデルが並列に検証する方式です。NVIDIAによると、Gemma 4 E4Bの従来のドラフト生成器と比べ、スループットを最大21％高められます。モデルはHugging Face、Ollama、LM Studio、Unsloth、Jetson AI Labで利用でき、ゲーム内推論SDKを使ってゲームキャラクターに組み込めます。