Компания Hugging Face анонсировала релиз-кандидат первой версии библиотеки tokenizers. Обновление направлено на устранение узких мест в ML-конвейерах, где производительность токенизации может ограничивать скорость работы моделей. Согласно заявлению разработчиков, v1 обеспечивает прирост скорости кодирования текста от 3 до 30 раз по сравнению с версией 0.23 на процессорах Apple M4 Max, сохраняя при этом идентичность выходных токенов. Ускорение достигнуто за счет оптимизации ключевых этапов обработки: замены регулярных выражений на специализированные функции с использованием SIMD-инструкций, внедрения кэширования повторяющихся слов и оптимизации цикла слияния BPE (Byte Pair Encoding) с исключением лишних аллокаций памяти. Библиотека сохраняет поддержку семейств моделей BPE, WordPiece и Unigram. Разработчики подчеркивают, что API остается прежним, а изменения касаются только внутренней реализации и производительности.