← назад

ggerganov — 28-04-2026

1 твитов за сутки. Автор продемонстрировал успешный запуск сверхмассивной модели Qwen3.5-397B-A17B на аппаратном кластере DGX Spark с использованием оптимизированного стека llama.cpp.

Масштабная инференция — выполнена работа с 4-битными квантованными весами модели, занимающими 177 ГБ, с применением RPC и RDMA для межпроцессного взаимодействия на двух серверах DGX Spark tweet.

Источники

llamacpp