22种印度语言有了2.8万亿token预训练语料：翻译、质检、修复的配方也一并开源
核心概要
NVIDIA与IIT Madras的AI4Bharat实验室联合发布Nemotron-pretraining-Indic-v1，覆盖22种印度语言、约2.8万亿token，并开源了生成这些数据的GPU加速流水线。此前开放合成印度语数据规模有限，而印度宪法列出的这22种语言是97%印度人的母语。语料含22种语言的本土文字数据和其中12种语言的拉丁转写数据，共34种语言—文字组合，每条记录可追溯到源文档，译文按百分制评分、低于75分的经反馈修复后重评。
深度剖析
面向22种印度语言的开放合成预训练语料规模被推到约2.8万亿token，并附带可复用的生成配方。 此前开放的合成印度语训练数据规模有限，AI4Bharat负责人Mitesh Khapra把印度语技术落后于英语归因于印度语数据不足。 语料由2601.0亿本土文字token与224.6亿拉丁转写token组成，计数使用Gemma-4分词器，且记录的是保留语料而非某次训练运行的token预算。
生成流程把翻译、质检和定向修复串成一条可追溯的流水线。 流程从15个Nemotron-CC-v2子集取材，覆盖网页文本、问答、数学与代码，并用NVIDIA开源的NeMo Data Designer框架编排。 12种语言用Gemma-4-31B-it整篇翻译，再用同一模型按MQM启发的评分表打分，只保留75分及以上的输出，低分输出依评估反馈修复后重评，这一过程回收了438.4亿token。
另外10种语言改用文档级翻译模型Indic Translate，并针对长文档与文字稳定性做了调整。 这10种语言只产出本土文字数据，不做基于反馈的重写。 其中8种语言保留整篇文档方式，桑塔利语对长文档采用重叠窗口翻译再重建，曼尼普尔语先译成孟加拉文字再转成其本土的Meitei Mayek文字。
在Nemotron 3.5 Super VL上，加入印度语继续预训练后，五项印度语知识与推理基准的分数全部上升。 该阶段配置预算为1000亿训练token，其中10%即100亿token分配给合成与自然印度语文本的混合，其余90%维持此前训练混合的相对比例。 前后检查点的对比显示提升幅度为4.98到9.82个百分点，但该对比覆盖的是合成与自然印度语数据合并的训练阶段，并未单独分离合成语料的贡献。
启示与展望
语料面向需要印度语预训练数据的模型构建者，覆盖22种语言的本土文字数据与其中12种语言的拉丁转写数据，共34种语言—文字组合，配置以语言、文字和地区标签区分。翻译扩大了源材料的可及范围，但不替代原本以印度语书写的文本，也不保证覆盖本地知识与文化，建议与来源合适的自然印度语文本配合使用，并针对目标用途评估混合比例。
质量评估以自动方式为主，辅以抽样人工复核，各语言的复核覆盖程度不一；在12种语言的工作流中，翻译模型同时充当评判者。保留文本仍可能含错误，10种语言的工作流需要更广泛的本族语者验证。源ID检查去除的是处理重复，并非对相似内容做语义去重。继续预训练的增益支持合成与自然印度语合并的配方，其他模型与语言的混合选择仍待进一步研究。