Сбой Microsoft 365, затронувший облачную почту и офисные сервисы, продолжался с 16:20 UTC 12 ноября до 16:10 UTC 13 ноября — почти сутки. Microsoft связывает аварию не с атакой и не с ИИ, а с неприятно знакомой инженерам комбинацией: давно спрятанного дефекта, обычного перераспределения трафика и нехватки доступной мощности. Для компаний, чьи коммуникации и документы живут в SaaS, это ещё одно напоминание: резервный контур не всегда спасает, если он повторяет ту же ошибку.
Предварительный разбор Microsoft, о котором сообщает Ars Technica, описывает инцидент под идентификаторами EX1550543 и MO1550821. Проблема возникла в облачных шлюзах — инфраструктуре, через которую пользователи получают доступ к Microsoft 365 и Exchange Online. Компания прямо указала итоговую классификацию: техническая неисправность, не связанная с киберинцидентом или AI/agents. Это важная оговорка: внешне массовая недоступность корпоративной почты легко выглядит как последствия атаки, но в этот раз первопричина оказалась внутри собственной платформы.
Первый элемент цепочки появился ещё в июле. Тогда Microsoft начала развёртывать изменение в шлюзе, которое содержало скрытый дефект. При определённых условиях он приводил к исчерпанию ресурсов процессора и памяти, после чего сервер переставал отвечать. В предрелизном тестировании баг не обнаружили: тестовая аппаратура была слабее части production-серверов. По версии Microsoft, на уже работающих более новых машинах большее число процессорных ядер оказалось одним из условий, при которых проявилась блокировка. Старая добрая ситуация: стенд подтвердил работоспособность системы, но не проверил именно ту конфигурацию, которая оказалась критична в продакшене.
Сам дефект мог бы оставаться незаметным и дальше. Его активировал второй фактор — штатное переключение трафика. У Microsoft есть две независимые шлюзовые системы, чтобы при проблемах на одной направлять запросы через другую. Примерно за 15 часов до начала аварии трафик Teams перевели с альтернативного шлюза на основной, где обслуживается доступ к Exchange Online. Это было обычное защитное переключение, а не экстренный манёвр. Но основной контур получил не только больше запросов, а другой профиль нагрузки. Очереди начали расти, затронутые серверы исчерпали ресурсы и перестали принимать новые подключения.
Третьим фактором стала потеря запаса мощности. На момент переключения парк шлюзовых серверов уже работал на 14% ниже оптимального уровня из-за существующей неисправности. В изоляции такой дефицит, вероятно, пережили бы. Вместе с изменившимся трафиком и дефектом он оставил системе слишком мало пространства для манёвра. По мере роста нагрузки возникала конкуренция за блокировки, серверы зависали, а к началу пика рабочего дня в США проблема стала каскадной.
Механизмы отказоустойчивости сработали ровно до момента, когда попытались сделать то, для чего их проектировали: отвести запросы от неотвечающих машин. Трафик ушёл на резервные шлюзы, но там проявились те же блокировки. В результате зависло более 80% затронутых шлюзовых серверов. Системы региональной изоляции, которые должны ограничивать распространение проблемы, судя по предварительному отчёту, не справились. Почему именно — Microsoft пока не объяснила. Это, пожалуй, самый интересный вопрос для архитекторов: дублирование компонентов не даёт независимости, если контуры несут общий дефект, одинаковую нагрузочную модель или общий механизм управления трафиком.
Восстановление затянулось потому, что простой перезапуск не помогал. После рестарта сервер сразу встречал накопившуюся очередь запросов и снова упирался в исчерпание ресурсов. Откат тоже не был решением: вызывавшее проблему изменение находилось в системе с июля. Инженерам пришлось точечно обновлять шлюзы и возвращать их в строй постепенно. Teams, OneDrive и другие приложения Office удалось увести с затронутой инфраструктуры, но Exchange Online нельзя было масштабировать и переносить так же быстро. Microsoft также увеличила тайм-ауты доставки затронутых писем, чтобы отложенные сообщения не возвращались отправителям как недоставленные.
Для российских IT-команд практический вывод из сбоя Microsoft 365 не сводится к совету «держите резервный почтовый сервис» — для большой организации это часто дорого и организационно тяжело. Полезнее заранее определить, какие процессы переживут недоступность почты и совместной работы 4, 12 или 24 часа; где лежат контакты сотрудников и клиентов; кто принимает решение о переходе на запасные каналы. Разработчикам и SRE-командам стоит отдельно проверять, действительно ли failover-контуры независимы по версии ПО, типу нагрузки и доступной ёмкости. Резерв, который воспроизводит продакшен один в один, иногда воспроизводит и его аварию.
Microsoft обещает опубликовать финальный отчёт 20 ноября и уже заявила о добавлении мощности и новых ограничителях распределения трафика. Сбой Microsoft 365 показателен не масштабом сам по себе, а тем, насколько будничными были его части: релиз, плановое переключение, недостающий запас серверов. В сложной облачной платформе крупный инцидент всё чаще рождается не из одного «фатального бага», а из нескольких разумных по отдельности решений, которые встретились в худший момент.
