@atomic_chat_hq

Выпуск

2 твитов

Atomic Chat объявил о выпуске GGUF-квантов NVIDIA Nemotron 3.5 Lightning на Hugging Face для локального запуска. Доступны варианты от BF16 до 19,7 ГБ, с MTP и спекулятивным декодированием DFlash. Для оборудования с 24 ГБ рекомендован AD-IQ4_NL: в тесте на RTX 5090 заявлены 326 токенов/с и совпадение выбора токенов с референсом на 93,5%.

Темы: локальные LLM · GGUF-кванты · NVIDIA Nemotron · спекулятивное декодирование

Ключевые твиты