Google Cloud приостановил рабочий аккаунт Railway 19 мая, что привело к 8-часовому semplicity простоя платформы. В результате были отключены панель управления, API и все базы данных, затронув более 3 миллионов пользователей. Это инцидент стал важным напоминанием о рисках, связанных с использованием облачных сервисов без должного контроля.
Что случилось
Приостановка аккаунта не была вызвана действиями со стороны Railway, а применялась к нескольким аккаунтам одновременно без предварительного предупреждения. Инженеры курсировали мнение, что архитектурные решения Railway, позволившие одному поставщику вызвать общую проблему, рассмотрены как ошибка. Однако нагрузка на другие облачные источники, такие как AWS и собственная инфраструктура Railway, также пострадала.
Процесс восстановления
Когда аккаунт был приостановлен, рабочие нагрузки на AWS и собственных серверах продолжали функционировать, но их состояние зависело от кэшированных таблиц маршрутизации, которые через некоторое время перестали действовать. В результате после восстановления доступа не произошло мгновенного восстановления всех сервисов — пришлось восстанавливать персистентные диски, вычислительные инстансы и сетевые настройки поэтапно.
Новая стратегия Railway
Основатель Railway, Джейк Купер, признал ситуацию непростой и упомянул о необходимости изменить статус GCP на резервный. В будущем Railway продлевает высокодоступные базы данных через AWS и собственные серверы, создавая инновационную сетевую архитектуру, которая защитит от подобных ситуаций.
Риски для разработчиков
Инцидент показал риски, связанные с зависимостью от облачных платформ. Команды разработки в России и СНГ должны помнить о потенциале простоя и планировать архитектуру своих приложений соответственно. Использование нескольких облачных поставщиков может стать необходимостью для минимизации рисков.
Следующий шаг для Railway — окончательная реализация новой архитектуры и полномасштабное восстановление работы платформы. Ожидается, что это заняло дополнительные недели для полного вывода из режима обеспечения доступности.