@NVIDIAAI
NVIDIA AI представила Dynamo AIPerf — инструмент для оценки производительности LLM-эндпоинтов при росте нагрузки. Он измеряет TTFT, ITL, задержку и пропускную способность, а также позволяет воспроизводимо тестировать реалистичные паттерны трафика.