Cloudflare обнаружил, что простое изменение в Kubernetes позволило сэкономить 600 часов в год. Проблема была связана с длительным временем перезапуска инструмента Atlantis, применяющего изменения в Terraform, что влияло на производительность команды.
Контекст проблемы
В Cloudflare Atlantis используется для управления проектами Terraform через GitLab, что требует перезапускать его для обновления учетных этих или конфигураций. Каждый перезапуск занимал около 30 минут, а в месяц подобных операций происходило примерно 100. В итоге команда теряла более 50 часов простоя ежемесячно.
Что стало причиной задержек
Медленный перезапуск инструмента был вызван ограничением на уровне Kubernetes, когда количество файлов в постоянном хранилище достигло миллионов. При этом стандартные параметры для файловой системы не позволяли увеличивать количество доступных инодов. Вместо того чтобы увеличивать ожидания на перезапуск, инженеры Cloudflare выбрали путь расследования коренной проблемы.
После изучения логов kubelet, команда выяснила, что задержка была вызвана инициализацией контейнеров, так как kubelet не выделял необходимое время для загрузки образов. Это открытие дало возможность применить одно строковое решение, которое существенно ускорило процесс.
Что это значит для разработчиков
Для команды разработчиков это стало уроком: даже небольшие изменения в настройках Kubernetes могут привести к значительным улучшениям в рабочем процессе. Важно внимательно следить за размером и структурой хранилищ. Разработчикам стоит обратить внимание на параметры файловых систем при конфигурации Kubernetes, чтобы избежать подобных задержек и эффективно использовать ресурсы.
Следующий шаг для Cloudflare — продолжать оптимизацию рабочих процессов, что позволит еще больше повысить продуктивность команды.