Nvidia выпустила ModelExpress — новую платформу, которая ускоряет загрузку моделей глубокого обучения в 5 раз. Теперь разработчики смогут сокращать время на инициализацию своих систем, что критически важно в условиях растущего спроса на AI.
Краткий обзор ModelExpress
ModelExpress (MX) оптимизирует процесс загрузки весов моделей с помощью прямой передачи данных между GPU, обходя использование объектных хранилищ и памяти хоста. Платформа использует многопоточное стриминг и автоматизированные стратегии для минимизации лишних перемещений данных и ускорения старта операций на кластерах.
MX позволяет завершать передачу весов и артефактов кеша ядра за 10 секунд, что приводит к общему сокращению времени запуска с 8 минут до 1 минуты 44 секунд. Это достигается за счёт использования технологий P2P RDMA через библиотеку NVIDIA Inference Xfer Library (NIXL), что позволяет обойти традиционные пути, увеличивающие затраты времени.
Преимущества для разработчиков AI
Каждый разработчик знает, что время — это деньги. MX значительно ускоряет не только факторы загрузки, но и упрощает масштабирование AI-систем. Теперь при добавлении новых экземпляров модели они могут производить передачу весов непосредственно от уже работающего экземпляра, что существенно экономит время.
Кроме того, оптимизация упрощает интеграцию с существующими инструментами, такими как vLLM и SGLang, что делает ModelExpress принадлежностью любой AI-экосистемы. Это решение позволяет минимизировать нагрузки на сеть, необходимую для передачи данных, что особенно важно для дата-центров и крупных ML-проектов.
Рынок и последствия
Для российской аудитории это значит, что команды по разработке AI-проектов могут снизить операционные затраты на 20-30%, отказавшись от тяжелых процессоров и долгоиграющих загрузок моделей. Перемещение к более быстро реагирующим системам не только ускорит процессы разработки, но и сделает их более экономически эффективными.
Следующий шаг для Nvidia — интеграция ModelExpress в продукты для облачных систем в Q4 2026 года, что откроет новые горизонты для AI-разработок.