@atomic_chat_hq

Выпуск

2 твитов

Аккаунт представил Woodcock — MIT-лицензированную clean-room альтернативу Eagle 4 для ускорения локального инференса. По заявленным данным, альфа-версия повышает скорость Qwen3-1.7B на M4 Max со 120 до 300 токенов/с. Также опубликована линейка квантов модели Flint 40B размером от 42,9 до 13,3 ГБ; вариант AD-IQ2_XXS рекомендован для устройств с 24 ГБ памяти и контекстом около 95 тыс. токенов.

Темы: локальный инференс · ускорение декодирования · Woodcock · квантизация Flint · Apple Silicon

Ключевые твиты