Etsy завершила миграцию своей MySQL шардированной архитектуры на Vitess, что позволило значительно упростить управление данными и улучшить производительность. Это важный шаг для компании, так как с помощью Vitess она теперь способна обрабатывать 1,7 миллиона запросов в секунду к 425 ТБ данных, что позитивно скажется на масштабировании и надежности их сервисов.
Предыстория и текущее состояние
С момента внедрения шардирования MySQL в 2010 году Etsy использовала собственную логику шардирования с близко к 1000 шардов, чтобы поддерживать высокую производительность. Такая система была сопряжена с рядом проблем: медленная миграция и сложное управление шардированием, требующее много времени от разработчиков. Переход на Vitess стал решением для сокращения рисков и повышения эффективности работы с данными.
Технические детали миграции
Новая архитектура Vitess, представляющая собой система кластеризации баз данных, позволяет Etsy обойтись без устаревшей индексной базы данных, на которую ранее было создано множество зависимостей. Инженеры компании разработали кастомные vindexes для интеграции существующей логики шардирования, что позволяет избежать проблем с мануальной миграцией данных.
По словам Эллы Ярмо-Грэй, старшего программиста Etsy, переход потребовал более 2500 пулл-реквестов и 6000 запросов за пять лет. Непрерывный тестирование для обеспечения консистентности этих также играло ключевую роль в успешном завершении миграции.
Практическое значение для разработчиков
Это обновление важно для разработчиков в России и СНГ, работающих с крупными объемами данных. Переход на Vitess не только упрощает структуру хранения данных, но и значительно ускоряет операции по их обработке. Компании, использующие MySQL, теперь могут рассмотреть Vitess как возможное решение для более гибкого и масштабируемого управления данными.
Эти изменения в инфраструктуре Etsy показывают, как важен правильный выбор технологий, особенно для компаний с высокими требованиями к обработке данных.
Следующий этап для Etsy — продолжать оптимизацию своей архитектуры и интеграцию новых технологий для улучшения продуктивности и снижения издержек.