@Yuchenj_UW
Автор выразил восторг по поводу DFlash 2 и технологии speculative decoding. Мечтает о дне, когда можно будет запускать модель на 1 триллион параметров локально на iPhone со скоростью 100 токенов/с.
Автор выразил восторг по поводу DFlash 2 и технологии speculative decoding. Мечтает о дне, когда можно будет запускать модель на 1 триллион параметров локально на iPhone со скоростью 100 токенов/с.