Команда разработчиков представила TraceML — новый инструмент с открытым исходным кодом для PyTorch и TensorFlow, который позволяет следить за производительностью во время тренировки моделей. С его помощью можно обернуть тренировочный шаг в контекстный менеджер with trace_step(model):, что дает возможность отслеживать занятость ресурсов в реальном времени.
Функционал TraceML
TraceML фиксирует время, затраченное на выборку данных, операции прямого и обратного распространения ошибок, а также оценку производительности оптимизаторов. Кроме того, он показывает, как распределены ресурсы GPU, позволяя находить узкие места, такие как медлительные загрузчики этих или неравномерная нагрузка на GPU.
Преимущества для разработчиков
Утилита поддерживает одиночные GPU, многопроцессорные системы и фреймворки вроде Hugging Face Trainer и PyTorch Lightning. С ее помощью разработчики могут легко понимать, почему конкретная тренировка проходит медленнее, чем ожидается.
Основная цель TraceML — упрощение выявления проблем в процессе обучения, что очень важно для оптимизации работы моделей машинного обучения. Это предложение будет полезно не только исследователям, но и командам разработчиков в сфере AI, стремящимся к максимальной эффективности.
Для отечественных программистов это еще одна возможность улучшить производительность ML-моделей, что значительно сократит время разработки и тестирования. С учетом растущего интереса к машинному обучению в России, такой инструмент поможет повысить конкуренцию и качество продуктов.
Следующий шаг для разработчиков — оценка возможностей TraceML на практике и обсуждение полученных результатов в сообществе.