Perforce добавила отладку Python в HPC в инструмент TotalView — дебаггер для параллельных приложений, работающих на тысячах процессов. Для команд, которые переносят научные расчёты, обучение ИИ и моделирование на Python, это означает возможность разбирать сбои не по россыпи логов, а в одном интерфейсе; о релизе сообщает The Register.
Новая функция показана на конференции SC26, где Perforce демонстрирует TotalView в версии очередного квартального обновления. Раньше продукт умел работать с C, C++ и Fortran — языками, на которых держится заметная часть высокопроизводительных вычислений. Теперь он поддерживает и Python, включая распространённую связку с библиотекой mpi4py, которая подключает Python-программы к интерфейсу передачи сообщений MPI.
Когда один упавший процесс теряется среди тысяч
Обычный отладчик вполне справляется с локальной программой, но распределённое приложение быстро превращает поиск ошибки в археологию. Нужно сопоставить состояние множества процессов, потоков и иногда GPU, понять, где именно один из них остановился или ушёл в неверную ветку, а затем отделить полезные данные от огромного объёма служебного вывода. В Perforce говорят, что TotalView способен локализовать единичный сбой даже при 10 000 одновременно выполняющихся задач.
Для этого TotalView собирает стек-трейсы параллельных процессов в общее представление и подсвечивает состояния, выбивающиеся из нормы. Разработчик может запустить однопроцессную или параллельную программу под контролем дебаггера, поставить точки останова, просмотреть переменные и структуры данных, а также вычислять выражения Python во время паузы. Под капотом используется движок Microsoft debugpy через Debug Adapter Protocol, поверх которого TotalView строит собственный иерархический сервер.
Ключевая ценность здесь не в том, что Python получил ещё один отладчик. Их и без того хватает. Важнее, что отладка Python в HPC теперь учитывает параллельную природу задачи: можно сопоставлять сотни стеков и не пролистывать вручную одинаковые состояния. Для кода, который запускается на кластере после долгой очереди в планировщике, лишний прогон из-за неуловимой гонки — удовольствие дорогое даже без счёта за вычислительные ресурсы.
Python всё глубже заходит на территорию HPC
Python в высокопроизводительных вычислениях давно перестал быть только языком для подготовки данных и склейки библиотек на C++. Его проще осваивать, вокруг него выросли экосистемы для анализа данных и машинного обучения, а mpi4py позволяет использовать распределённые вычисления на нескольких узлах. В результате Python применяют и для многозадачных научных симуляций, и для распределённого обучения моделей, и для задач, которым нужна общая память внутри сервера.
Тренд усилился после Python 3.14, вышедшего год назад. В версии появились конкурентные интерпретаторы и поддержка свободной от GIL многопоточности. Отключение глобальной блокировки интерпретатора даёт возможность независимым потокам действительно выполняться параллельно на многоядерном CPU, а не только по очереди владеть исполнением байткода. На машине с 64 ядрами это открывает путь к десяткам одновременно работающих потоков Python внутри одного узла.
Но вместе с производительностью Python получает и знакомый ветеранам C++ набор проблем: конкуренцию за блокировки, взаимные блокировки, ошибки синхронизации и гонки данных. Пока процесс один, такие дефекты ещё удаётся воспроизвести на ноутбуке. Когда в вычислении участвуют 500 или 1 000 интерпретаторов, повторяемость бага становится почти роскошью. Поэтому отладка Python в HPC перестаёт быть вспомогательной функцией и становится частью инженерного процесса.
У текущей реализации есть важное ограничение. TotalView не предлагает полноценную сквозную отладку смешанного кода. Если Python-приложение вызывает модуль или библиотеку на C/C++, разработчику придётся выбрать: отлаживать сторону C/C++, сохраняя видимость Python-стека, либо анализировать Python отдельно. В Perforce заявили, что планируют объединить эти режимы в одном рабочем процессе в одном из следующих релизов. Для HPC это не косметическая доработка: критичные участки таких приложений часто остаются в нативном коде.
Из коробки TotalView поддерживает mpi4py и штатный модуль Python multiprocessing. В будущих версиях компания намерена добавить другие фреймворки параллелизма, в том числе Dask и torchrun из экосистемы PyTorch. Лицензирование у продукта токенное: один токен даёт возможность отлаживать один процесс. Это стоит учитывать командам, которые захотят развернуть отладку Python в HPC на крупных кластерах: масштаб задачи будет влиять не только на сложность диагностики, но и на необходимый объём лицензий.
Появление Python в TotalView хорошо показывает, куда движется HPC: инфраструктура, исторически заточенная под Fortran и C++, вынуждена догонять язык дата-сайентистов и ML-инженеров. Главный тест для Perforce теперь — насколько быстро появится единый сценарий для Python и нативных расширений: именно на этой границе обычно и живут самые дорогие ошибки. Подробности демонстрации и заявления компании доступны в материале .

