Cloudflare разработал метод увеличения эффективного объема кэширования, применив алгоритм Zstandard, что позволяет экономить на хранении данных и снижает трафик между дата-центрами. Эта технология предлагает значительные преимущества для распределенных систем хранения, таких как CDN компании.
Контекст и рыночная ситуация
В последние годы затраты на память стремительно возросли. Цены на оперативную память и жесткие диски значительно увеличились, что побуждает компании искать способы эффективнее использовать имеющиеся ресурсы. Cloudflare, с его масштабируемой архитектурой, активно разрабатывает решения для управления ресурсами в условиях растущих цен на оборудование.
Преимущества применения Zstandard
Разработанная система кэширования, называемая Cache Transcoding, использует Zstandard для сжатия данных при их записи в кэш. В результате тестирования выяснилось, что работающие сжатые данные уменьшают объем кэшируемых объектов в среднем до ⅓ от их первоначального размера. Этот процесс требует небольших затрат CPU при первичном вводе данных, но обеспечивает огромные выгоды при повторном использовании кэшированных объектов.
По данным Cloudflare, новый метод заметно увеличивает плотность кэша и продлевает срок хранения полезного контента, уменьшая риски удаления необходимых данных.
Как это затрагивает разработчиков
Для программистов и разработчиков инфраструктуры этот прогресс означает, что меньше места на дисках позволит хранить больше объектов, что в свою очередь приведет к более быстрой работе приложений. Принимая во внимание, что 71% текстовых данных передаются без сжатия, преимущества от разработки алгоритма Zstandard будут значительными.
Перспективы дальнейшей оптимизации
Cloudflare продолжит развивать и улучшать технологии кэширования, ожидая дальнейших успехов в области оптимизации хранения данных на своих платформах.