perplexity_ai — 28-05-2026
3 твитов за сутки. Компания открыла исходный код переписанного Unigram токенизатора, который радикально снижает нагрузку на CPU за счёт оптимизации под GPU-сценарии.
Производительность токенизатора — новый Unigram tokenizer уменьшает использование CPU в 5–6 раз, так как на GPU ранкеры и эмбеддеры работают за миллисекунды, и CPU-токенизация становится узким местом. На продакшн-длинах ввода энкодер сокращает p50 латентность примерно в 5 раз по сравнению с HuggingFace токенизаторами, в 2 раза быстрее SentencePiece C++ и в 1,5 раза быстрее IREE C. При длине 514 токенов обработка занимает 63 микросекунды без единого выделения памяти в куче Unigram tokenizer.
Доступность кода — исходный код проекта выложен в открытый доступ в репозитории pplx-garden, а технические детали оптимизации CPU-производительности описаны в статье improving-unigram-tokenizer-cpu-performance.
