@ggerganov
День был посвящён развитию llama.cpp и локального ИИ. Автор отметил возможность распределённого инференса на разнородных устройствах через RPC-бэкенд ggml, а также появление llama.cpp на мероприятии Windows. Он считает, что программный и аппаратный стеки наконец сходятся, и ожидает роста числа пользователей локального ИИ.