Cloudflare успешно оптимизировал свою реализацию ClickHouse, сократив время выполнения запросов на 50%. Это особенно важно для компании, так как задержки в обработке запросов могут негативно сказаться на системах выставления счетов и обнаружения мошенничества.
Контекст проблемы и аудитория
С момента внедрения ClickHouse, который является открытой аналитической базой данных для ускоренной обработки больших объёмов данных, Cloudflare обрабатывает более 200 ПБ данных. Однако после миграции, увеличившей объём обрабатываемой информации, время выполнения запросов резко возросло, несмотря на нормальные показатели использования ресурсов (I/O, память).
Инженеры компании, Джеймс Моррисон и Кристиан Эндрес, отметили, что до 45% времени процессора тратилось на планирование запросов из-за блокировок, что приводило к зависимости времени выполнения запросов от количества обрабатываемых частей данных.
Оптимизация ClickHouse
Команда разработчиков применила ряд изменений, включая замену эксклюзивной блокировки на совместную и удаление дублирования списка частей данных для каждого запроса. Также были реализованы улучшения для фильтрации данных, что позволило избежать полного сканирования списка при каждом запросе.
После внедрения патча в марте 2026 года время выполнения запросов значительно снизилось, что помогло стабилизировать работу ClickHouse, даже учитывая рост объёма обрабатываемых данных.
Значение для рынка и разработчиков
Эта оптимизация подчеркивает важность производительности систем на уровне планирования запросов. Для российских разработчиков использование ClickHouse может стать более эффективным инструментом анализа больших объёмов данных. Внедрение подобных улучшений позволит компаниям справляться с возросшими требованиями к обработке данных без ущерба для производительности.
Следующий шаг для Cloudflare — продолжение мониторинга системы для выявления и устранения новых узких мест, гарантируя это на фоне растущих объёмов данных и требований клиентов.