@atomic_chat_hq

Выпуск

1 твитов

Atomic Chat интегрировал NVIDIA TensorRT в свой движок для локального запуска ИИ-моделей. В тестах Qwen3.5-4B/Qwen 3-8B через CUDA на Blackwell RTX 5090 TensorRT показал результат 3,43 с против 10,49 с у llama.cpp — заявлено ускорение на 206%.

Темы: TensorRT · локальные модели · CUDA · RTX 5090 · производительность

Ключевые твиты