Nvidia представила новую функциональность TensorRT, позволяющую одному экземпляру модели запускаться одновременно на нескольких GPU. Теперь производительность вывода уточненных видео данных повышена в 4,6 раз, что позволяет сократить задержку с 156,6 секунды до 34,2 секунды при автоматической генерации видео.
Краткий обзор новых возможностей
С выходом версии 26.07 Nvidia Dynamo-Triton поддерживает многогрупповой вывод с использованием TensorRT, направляя задачи между несколькими GPU. Это позволяет значительным образом повысить скорость генерации, что критично для приложений с высоким спросом на производительность, таких как генеративный AI.
Как это работает
Идея заключается в организации распределенного вывода, где одна модель может управлять несколькими графическими процессорами. Используя обработку Ulysses, распределяется до 44 160 токенов видео на восьми GPU одновременно. Это даёт возможность не только уменьшить время генерации, но и использовать мощность всех доступных ресурсов без усложнения API для разработчиков.
Преимущества для разработчиков AI
Для команд, работающих над генерацией AI-контента, система предоставляет значительное преимущество, закрывая разрыв между многогрупповым ускорением и удобным интерфейсом для вывода моделей. Уменьшение задержки вывода открывает новые горизонты для медиа-projects, уменьшая время ожидания пользователей и ускоряя процессы рецензирования. Это может значительно повысить эффективность рабочего процесса.
Следующий шаг — разработка и оптимизация интеграций с более широким набором моделей AI, что сделает данный инструмент еще более ценным на рынке. Поддержка обновлений будет продолжаться, так как конкуренция в области AI-технологий нарастает.