Hugging Face Blog·· 2 小时前精选AI 评分80
NVIDIA、IIT Madras 与 AI4Bharat 发布 2.8 万亿 token Indic 预训练语料及开放数据生成流程
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 导读
NVIDIA、IIT Madras 与 AI4Bharat 将推出 Nemotron-pretraining-Indic-v1，包含约 2.8 万亿 token，覆盖 22 种印度语言，并同步开放 GPU 加速的数据生成流程。
推荐理由
材料交代了语料构成、两套生成流程及评估边界，便于理解大规模合成 Indic 训练数据如何构建与使用。
来源：Hugging Face Blog · huggingface.co