Dropbox обновил подход к компактации хранилищ, освободив до 94% объёмов данных и заметно увеличив свою эффективностью. Новая стратегия важна для разработчиков, так как решает проблемы, связанные с фрагментацией данных.
Контекст ситуации
Система хранения Dropbox под названием Magic Pocket разрабатывалась для масштабного хранения пользовательских файлов. Однако ранние методы компактации были неэффективны, когда большинство объёмов данных оказались серьёзно недозаполненными, иногда использовавшими менее 5% своей ёмкости.
Из-за фрагментации система замедляла обработку данных. По словам Факундо Агриэля, инженера Dropbox, прежняя стратегия работала хорошо, когда объёмы были почти полными, но не справлялась в условиях недозаполненности.
Новая компактация и её преимущества
Обновленная стратегия компактации, названная L2, позволяет объединять несколько мало заполняемых объёмов в один полный, эффективно увеличивая скорость освобождения места. Новая схема не только сокращает фрагментацию, но и снижает общие накладные расходы на хранение, увеличивая производительность системы.
Дополнительно внедрена ещё одна стратегия, L3, для обработки объёмов, которые нельзя было быстро освободить прежними методами. Она передаёт данные через сервис Live Coder, постепенно перезаписывая их в новые закодированные объёмы.
Что это значит для пользователей Dropbox
Улучшение компактации позволит клиентам Dropbox экономить на затратам на хранение данных, что делает платформу более привлекательной для организаций. Это также уменьшит время ожидания загрузки и обработку файлов, что положительно скажется на общей производительности системы на локальных компьютерах пользователей.
В октябре 2026 года Dropbox подтвердит результаты работ по новой компактации на конференции для разработчиков, которая затронет актуальные вопросы хранения и обработки данных.