NVIDIAとAI4Bharatは、22のインド諸語で約2.8兆トークンを収録するコーパス「Nemotron-pretraining-Indic-v1」と、GPUで高速化したオープンなデータ生成パイプラインを発表しました。公開は2026年10月16日の記事掲載後、間もなく予定されています。IITマドラスと共同開発したこのコーパスは、2011年国勢調査によるとインド人口の97％に当たる約12億人の第一言語を網羅します。データはウェブ文書、質疑応答、数学、コードなどを含む15のNemotron-CC-v2サブセットから選んだ英語資料を基に生成されます。各生成記録には出典識別子が付され、英語の入力文との照合も行われます。

コーパスには、Gemma-4のトークナイザーで数えた各言語の文字体系による2兆6,010億トークンと、ラテン文字化された2,246億トークンが含まれます。22言語すべてに各言語の文字体系によるデータがあり、12言語にはラテン文字化データもあるため、言語と文字体系の組み合わせは34種類です。ラテン文字化データはインド諸語をラテン文字で表記したもので、英訳ではありません。各言語の文字体系によるデータは英語から翻訳されています。トークン数には、同じ資料を書き換えたものや文字体系を変えたものも含まれるため、固有の英語文書数や学習時のトークン予算を表すものではありません。

12言語では、NVIDIAとAI4BharatがNeMo Data DesignerとGemma-4-31B-itを使い、文書全体を翻訳して品質を評価し、得点の低い出力を修正します。評価項目は意味、流暢さ、用語、文体、書式で、100点中75点以上の翻訳を採用します。75点未満の場合は評価結果を修正に反映し、再評価します。この工程で得られた4,384億トークンは、コーパスの総数にすでに含まれています。採用した翻訳の一部はラテン文字にも変換され、各言語の文字体系による文章との照合が行われます。初期の人手比較では、この2段階方式は英語から直接ラテン文字化する方法より、幻覚による追加や英語の残存が少ない結果でした。

残る10言語では、文書単位の翻訳モデルIndic Translateを使い、Gemma-4-31B-itで出力を評価します。8言語は文書全体を翻訳します。長いサンタリ語文書は重複部分を含む区間に分けて翻訳し、つなぎ合わせます。マニプリ語はベンガル文字に翻訳した後、メイテイ・マエク文字に変換します。この工程でも100点中75点以上を採用しますが、評価結果を使った書き換えは行わず、各言語の文字体系によるデータだけを作成します。著者らは翻訳資料がインド諸語で書かれた文章に取って代わるものではなく、地域文化の知識を保証するものでもないとして、自然なインド諸語の文章との併用を勧めています。品質確認は主に自動で行い、一部の人手確認の範囲は言語ごとに異なります。

技術報告書は、継続事前学習の前後におけるNemotron 3.5 Super VLのチェックポイントを比較しました。学習には1,000億トークンを設定し、そのうち100億トークン、つまり10％をインド諸語の合成・自然テキストとしました。5つの知識・推論ベンチマーク（MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy、Indic GSM8K）で、スコアは4.98～9.82ポイント上昇しました。この結果は学習工程全体を測ったもので、合成コーパス単独の寄与を切り分けていません。報告書は、他のモデルや言語に適したデータ構成をさらに調べる必要があるとしています。別途、公開されたNemotron 3.5 Super VLは、表示された6つのタスク用ベンチマークのうち5つでNemotron 3 Superを上回り、IndiVibeの4つすべての評価軸で改善しました。一方、指示追従を測るIFEval 1.5のスコアは2.04ポイント下がりました。

NVIDIAとAI4Bharatは、22のインド諸語で約2.8兆トークンを収録するコーパス「Nemotron-pretraining-Indic-v1」と、GPUで高速化したオープンなデータ生成パイプラインを発表しました。公開は2026年10月16日の記事掲載後、間もなく予定されています。IITマドラスと共同開発したこのコーパスは、2011年国勢調査によるとインド人口の97％に当たる約12億人の第一言語を網羅します。データはウェブ文書、質疑応答、数学、コードなどを含む15のNemotron-CC-v2サブセットから選んだ英語資料を基に生成されます。各生成記録には出典識別子が付され、英語の入力文との照合も行われます。

コーパスには、Gemma-4のトークナイザーで数えた各言語の文字体系による2兆6,010億トークンと、ラテン文字化された2,246億トークンが含まれます。22言語すべてに各言語の文字体系によるデータがあり、12言語にはラテン文字化データもあるため、言語と文字体系の組み合わせは34種類です。ラテン文字化データはインド諸語をラテン文字で表記したもので、英訳ではありません。各言語の文字体系によるデータは英語から翻訳されています。トークン数には、同じ資料を書き換えたものや文字体系を変えたものも含まれるため、固有の英語文書数や学習時のトークン予算を表すものではありません。

12言語では、NVIDIAとAI4BharatがNeMo Data DesignerとGemma-4-31B-itを使い、文書全体を翻訳して品質を評価し、得点の低い出力を修正します。評価項目は意味、流暢さ、用語、文体、書式で、100点中75点以上の翻訳を採用します。75点未満の場合は評価結果を修正に反映し、再評価します。この工程で得られた4,384億トークンは、コーパスの総数にすでに含まれています。採用した翻訳の一部はラテン文字にも変換され、各言語の文字体系による文章との照合が行われます。初期の人手比較では、この2段階方式は英語から直接ラテン文字化する方法より、幻覚による追加や英語の残存が少ない結果でした。

残る10言語では、文書単位の翻訳モデルIndic Translateを使い、Gemma-4-31B-itで出力を評価します。8言語は文書全体を翻訳します。長いサンタリ語文書は重複部分を含む区間に分けて翻訳し、つなぎ合わせます。マニプリ語はベンガル文字に翻訳した後、メイテイ・マエク文字に変換します。この工程でも100点中75点以上を採用しますが、評価結果を使った書き換えは行わず、各言語の文字体系によるデータだけを作成します。著者らは翻訳資料がインド諸語で書かれた文章に取って代わるものではなく、地域文化の知識を保証するものでもないとして、自然なインド諸語の文章との併用を勧めています。品質確認は主に自動で行い、一部の人手確認の範囲は言語ごとに異なります。

技術報告書は、継続事前学習の前後におけるNemotron 3.5 Super VLのチェックポイントを比較しました。学習には1,000億トークンを設定し、そのうち100億トークン、つまり10％をインド諸語の合成・自然テキストとしました。5つの知識・推論ベンチマーク（MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy、Indic GSM8K）で、スコアは4.98～9.82ポイント上昇しました。この結果は学習工程全体を測ったもので、合成コーパス単独の寄与を切り分けていません。報告書は、他のモデルや言語に適したデータ構成をさらに調べる必要があるとしています。別途、公開されたNemotron 3.5 Super VLは、表示された6つのタスク用ベンチマークのうち5つでNemotron 3 Superを上回り、IndiVibeの4つすべての評価軸で改善しました。一方、指示追従を測るIFEval 1.5のスコアは2.04ポイント下がりました。