TokenSpeed

CLI-инференс-движок от Lightseek для высокоскоростных агентов.

Оптимизирован под NVIDIA Blackwell с использованием MLA-аттеншн и улучшенного KV-кэша. Обеспечивает максимальную пропускную способность для LLM-приложений.

Источник: @NVIDIAAI, 07-05-2026