SGLang

Библиотека для эффективного развертывания и выполнения LLM.

Обновление добавляет оптимизации для архитектуры Blackwell, обеспечивая 180 токенов/с/GPU при декодировании DeepSeek-V4.

Источник: @NVIDIAAI, 01-05-2026