@atomic_chat_hq
Atomic Chat выпустил полную линейку GGUF-квантов для моделей Ornith 1.5 9B и 35B A3B на Hugging Face. Модель 9B AD-Q4_K запускается на MacBook Air с 16 ГБ RAM при контексте 64k и совпадает с оригиналом BF16 на 91.9%. Модель 35B A3B использует лишь 3B параметров на токен, что позволяет запускать 22 ГБ сборку на видеокарте с 12 ГБ, при совпадении с BF16 на 93.5%.