@ggerganov

Выпуск

1 твитов

В llama.cpp появилась поддержка decision models через новый эндпоинт `/v1/systemone`, доступный в последних сборках. Он позволяет выполнять Jev-style inference локально, эффективно и конфиденциально; уже поддерживаются несколько открытых моделей, список планируется расширять.

Темы: llama.cpp · Decision models · Локальный инференс · Открытые модели

Ключевые твиты