@ornith_

Выпуск

2 твитов

Представлены черновые модели DFlash для Ornith-1.5 9B, 35B-A3B и 397B. Они ускоряют инференс до 2,54 раза без потери качества генерации: DFlash предлагает сразу несколько токенов, а Ornith-1.5 проверяет их за один проход. Также опубликована коллекция Ornith-1.5-DFlash на Hugging Face.

Темы: DFlash · Ornith-1.5 · Ускорение инференса · Спекулятивное декодирование · Hugging Face

Ключевые твиты