NVIDIA와 AI4Bharat가 22개 인도 언어로 약 2조 8천억 토큰을 담은 말뭉치 ‘Nemotron-pretraining-Indic-v1’과 데이터 생성 공개 파이프라인을 발표했습니다. GPU 가속 파이프라인은 2026년 10월 16일 기사 게재 직후 공개될 예정입니다. IIT Madras와 함께 개발한 말뭉치는 2011년 인구조사 기준 인도 인구의 97%, 약 12억 명이 사용하는 첫 언어들을 다룹니다. 자료는 웹 문서, 질의응답, 수학, 코드 등을 포함한 Nemotron-CC-v2의 영어 자료 15개 하위 집합을 선별해 생성했습니다. 각 기록에는 출처 식별자가 남고, 생성 결과는 영어 원문과 대조됩니다.

말뭉치에는 Gemma-4 토크나이저로 센 고유 문자 토큰 2조 6,010억 개와 로마자 표기 토큰 2,246억 개가 있습니다. 22개 언어 모두 고유 문자 자료를 포함하며, 12개 언어에는 라틴 문자로 적은 로마자 표기 자료도 있어 언어·문자 조합은 총 34개입니다. 로마자 표기 자료는 인도어를 라틴 문자로 쓴 것이며 영어 번역문이 아닙니다. 고유 문자 자료는 영어에서 번역했습니다. 집계에는 같은 원자료를 바꿔 쓴 문장과 문자 표기 변형도 포함돼, 고유 영어 문서 수나 실제 학습에 쓴 토큰 예산을 뜻하지는 않습니다.

12개 언어에는 NeMo Data Designer와 Gemma-4-31B-it를 활용해 문서 전체를 번역하고, 결과를 평가한 뒤 낮은 점수의 번역을 수정하는 절차가 적용됩니다. 평가 기준은 의미, 유창성, 용어, 문체, 형식이며 100점 만점에 75점 이상인 번역을 채택합니다. 낮은 점수는 수정에 활용한 뒤 다시 평가합니다. 이 과정에서 4,384억 토큰을 확보했으며, 이는 말뭉치 총량에 이미 포함돼 있습니다. 채택된 번역 일부는 라틴 문자로도 변환해 고유 문자 버전과 대조합니다. 초기 사람 평가에서는 이 2단계 방식이 영어에서 곧바로 로마자 표기하는 방식보다 환각으로 추가된 내용과 남은 영어 표현을 줄였습니다.

나머지 10개 언어에는 문서 단위 번역 모델인 Indic Translate와 결과 평가를 위한 Gemma-4-31B-it를 사용합니다. 8개 언어는 문서 전체를 번역합니다. 긴 산탈리어 문서는 겹치는 구간으로 나눠 번역한 뒤 다시 연결하고, 마니푸리어는 벵골 문자로 번역한 다음 메이테이 마예크 문자로 변환합니다. 이 절차도 75점 이상인 번역을 채택하지만, 점수 기반 수정은 하지 않고 고유 문자 자료만 생성합니다. 개발진은 번역 자료가 인도어 원문을 대체하거나 지역 문화 지식을 보장하지는 않는다며 자연적으로 작성된 인도어 자료와 함께 사용할 것을 권고했습니다. 품질 검사는 주로 자동화되며, 표본 사람 검토의 범위는 언어마다 다릅니다.

기술 보고서는 Nemotron 3.5 Super VL의 추가 사전학습 전후 체크포인트를 비교했습니다. 학습 토큰은 1,000억 개로 설정됐고, 그중 100억 개, 즉 10%가 인도어 합성·자연 텍스트였습니다. 보고된 인도어 지식·추론 벤치마크 5종인 MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy, Indic GSM8K에서 점수는 4.98~9.82포인트 상승했습니다. 이 결과는 학습 단계 전체의 효과를 측정하며 합성 말뭉치만의 기여도를 분리하지 않습니다. 보고서는 다른 모델과 언어에 적합한 데이터 혼합 비율을 추가로 연구해야 한다고 밝혔습니다. 별도로 공개된 Nemotron 3.5 Super VL은 표시된 과제 벤치마크 6종 중 5종에서 Nemotron 3 Super보다 높은 점수를 받았고, IndiVibe의 4개 평가 차원 모두에서 개선됐습니다. 반면 IFEval 1.5 지시 수행 점수는 2.04포인트 하락했습니다.

NVIDIA와 AI4Bharat가 22개 인도 언어로 약 2조 8천억 토큰을 담은 말뭉치 ‘Nemotron-pretraining-Indic-v1’과 데이터 생성 공개 파이프라인을 발표했습니다. GPU 가속 파이프라인은 2026년 10월 16일 기사 게재 직후 공개될 예정입니다. IIT Madras와 함께 개발한 말뭉치는 2011년 인구조사 기준 인도 인구의 97%, 약 12억 명이 사용하는 첫 언어들을 다룹니다. 자료는 웹 문서, 질의응답, 수학, 코드 등을 포함한 Nemotron-CC-v2의 영어 자료 15개 하위 집합을 선별해 생성했습니다. 각 기록에는 출처 식별자가 남고, 생성 결과는 영어 원문과 대조됩니다.

말뭉치에는 Gemma-4 토크나이저로 센 고유 문자 토큰 2조 6,010억 개와 로마자 표기 토큰 2,246억 개가 있습니다. 22개 언어 모두 고유 문자 자료를 포함하며, 12개 언어에는 라틴 문자로 적은 로마자 표기 자료도 있어 언어·문자 조합은 총 34개입니다. 로마자 표기 자료는 인도어를 라틴 문자로 쓴 것이며 영어 번역문이 아닙니다. 고유 문자 자료는 영어에서 번역했습니다. 집계에는 같은 원자료를 바꿔 쓴 문장과 문자 표기 변형도 포함돼, 고유 영어 문서 수나 실제 학습에 쓴 토큰 예산을 뜻하지는 않습니다.

12개 언어에는 NeMo Data Designer와 Gemma-4-31B-it를 활용해 문서 전체를 번역하고, 결과를 평가한 뒤 낮은 점수의 번역을 수정하는 절차가 적용됩니다. 평가 기준은 의미, 유창성, 용어, 문체, 형식이며 100점 만점에 75점 이상인 번역을 채택합니다. 낮은 점수는 수정에 활용한 뒤 다시 평가합니다. 이 과정에서 4,384억 토큰을 확보했으며, 이는 말뭉치 총량에 이미 포함돼 있습니다. 채택된 번역 일부는 라틴 문자로도 변환해 고유 문자 버전과 대조합니다. 초기 사람 평가에서는 이 2단계 방식이 영어에서 곧바로 로마자 표기하는 방식보다 환각으로 추가된 내용과 남은 영어 표현을 줄였습니다.

나머지 10개 언어에는 문서 단위 번역 모델인 Indic Translate와 결과 평가를 위한 Gemma-4-31B-it를 사용합니다. 8개 언어는 문서 전체를 번역합니다. 긴 산탈리어 문서는 겹치는 구간으로 나눠 번역한 뒤 다시 연결하고, 마니푸리어는 벵골 문자로 번역한 다음 메이테이 마예크 문자로 변환합니다. 이 절차도 75점 이상인 번역을 채택하지만, 점수 기반 수정은 하지 않고 고유 문자 자료만 생성합니다. 개발진은 번역 자료가 인도어 원문을 대체하거나 지역 문화 지식을 보장하지는 않는다며 자연적으로 작성된 인도어 자료와 함께 사용할 것을 권고했습니다. 품질 검사는 주로 자동화되며, 표본 사람 검토의 범위는 언어마다 다릅니다.

기술 보고서는 Nemotron 3.5 Super VL의 추가 사전학습 전후 체크포인트를 비교했습니다. 학습 토큰은 1,000억 개로 설정됐고, 그중 100억 개, 즉 10%가 인도어 합성·자연 텍스트였습니다. 보고된 인도어 지식·추론 벤치마크 5종인 MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy, Indic GSM8K에서 점수는 4.98~9.82포인트 상승했습니다. 이 결과는 학습 단계 전체의 효과를 측정하며 합성 말뭉치만의 기여도를 분리하지 않습니다. 보고서는 다른 모델과 언어에 적합한 데이터 혼합 비율을 추가로 연구해야 한다고 밝혔습니다. 별도로 공개된 Nemotron 3.5 Super VL은 표시된 과제 벤치마크 6종 중 5종에서 Nemotron 3 Super보다 높은 점수를 받았고, IndiVibe의 4개 평가 차원 모두에서 개선됐습니다. 반면 IFEval 1.5 지시 수행 점수는 2.04포인트 하락했습니다.