Компании NVIDIA и AI4Bharat (лаборатория при IIT Madras) анонсировали выпуск набора данных Nemotron-pretraining-Indic-v1, содержащего около 2,8 трлн токенов на 22 языках Индии. Корпус включает как тексты на родных письменностях, так и романизированные версии (на латинице). Для создания данных использовался открытый GPU-ускоренный конвейер, который включает перевод, оценку качества и исправление ошибок, что позволяет разработчикам адаптировать процесс под свои нужды. По заявлению авторов, проект направлен на решение проблемы нехватки качественных данных для индийских языков. В процессе генерации использовались модели Gemma-4-31B-it и Indic Translate. Каждая запись в корпусе привязана к исходному документу, а автоматизированная система оценки качества отсеивает тексты с низкими баллами. Разработчики подчеркивают, что синтетические данные призваны дополнить, а не заменить естественно написанные тексты на местных языках. В рамках тестирования добавление 10 млрд токенов из этого корпуса в процесс дообучения модели Nemotron 3.5 Super VL привело к улучшению результатов на пяти бенчмарках, включая задачи на знание и рассуждение. NVIDIA также предоставила плагин для платформы NeMo Data Designer, позволяющий сообществу воспроизводить и масштабировать процесс генерации данных.