Nvidia добилась экономии энергии до 25% при обучении AI-моделей благодаря новым методам оптимизации. Это критически важно для операторов дата-центров, где до 40% затрат приходится на электроэнергию.
Как Nvidia достигает таких результатов
Компания применяет экстренные проекты по совместному дизайну, которые включают в себя оптимизацию электроснабжения, охлаждения и системы инфраструктуры. Это позволяет повысить производительность на ватт и сократить затраты на токены. Теперь, при равных условиях, Nvidia предлагает самые низкие цены за токен для AI-вычислений.
Например, новые архитектуры Nvidia увеличивают пропускную способность на один мегаватт в 1 миллиона раз за шесть поколений. Также активно используются модели смеси экспертов (MoE), которые более энергоэффективны по сравнению с плотными моделями за счет активации только части экспертов при формировании токена.
Значение для бизнеса
Эти улучшения могут значительно снизить операционные расходы для AI-компаний по всему миру. Для российских компаний это означает возможность уменьшить затраты на обучение, что критично в условиях растущей конкуренции на рынке AI. Предприятиям стоит обратить внимание на внедрение аналогичных технологий для сокращения затрат и увеличения рентабельности.
Следующий шаг для Nvidia — расширение предлагаемых решений для автоматизации управления энергопотреблением, что откроет новые возможности для современных AI-фабрик.