Сбой Microsoft 365 12 ноября оставил пользователей Outlook, Exchange Online, Teams и Copilot без привычных сервисов почти на 24 часа. Microsoft признала, что причиной стал дефект в обновлении, которое три месяца спокойно работало в продакшене, а затем вывело из строя свыше 80% сетевых шлюзовых серверов.
Инцидент начался в 11:20 по восточному времени США 12 ноября и, по данным Microsoft, был полностью устранён к 11:10 следующего дня. Как сообщает BleepingComputer, особенно тяжело пострадал Exchange Online: пользователи не могли открыть почтовые ящики, а доставка сообщений заметно задерживалась. Для компаний, где Microsoft 365 служит одновременно почтой, календарём и рабочим контуром коммуникаций, это был не косметический сбой, а остановка части операционных процессов.
Три фактора и один каскадный отказ
В предварительном отчёте Microsoft называет сразу три условия, которые сошлись в одном месте: скрытый программный дефект, дополнительный трафик после переключения Microsoft Teams на инфраструктуру Exchange Online и уже сниженная доступная мощность. Проблема не была новой: баг попал на сетевые gateway-серверы вместе с обновлением ещё в июле. Сам по себе он не проявлялся, пока серверы не оказались под определённой нагрузкой.
Примерно за 15 часов до основного инцидента Teams автоматически переключился на сетевую инфраструктуру, которую использует Exchange Online. Нагрузка на эти серверы выросла. При этом около 14% мощности шлюзового контура уже было недоступно из-за отдельной, не связанной напрямую проблемы. По версии Microsoft, оставшегося запаса хватало бы для штатной работы, однако сочетание увеличенного трафика и сниженной ёмкости активировало дефект.
Дальше сработал классический сценарий каскадного отказа. Серверы переставали отвечать, система направляла клиентов к ещё доступным узлам, а те получали дополнительный поток запросов и также выходили из строя. Менее чем за два часа дефект затронул весь парк: в худшей точке не отвечало более 80% серверов. Барьеры, которые должны были ограничить распространение проблемы между регионами, не удержали её — поэтому сбой Microsoft 365 стал глобальным, а не локальным региональным эпизодом.
Почему тесты пропустили проблему
Самая неприятная часть истории — объяснение Microsoft, почему обновление прожило в боевой среде больше трёх месяцев. Компания указывает, что лабораторное нагрузочное тестирование проводилось на менее производительном оборудовании: с меньшим числом ядер и другими конфигурациями. Между тем спорный эффект усиливался именно на более новых и многоядерных машинах. Иными словами, тестовая среда оказалась слабее прода, но именно поэтому не воспроизвела проблему, характерную для прода.
Для инженеров это знакомое, хотя и не менее досадное напоминание: нагрузочные тесты проверяют не «систему вообще», а конкретное сочетание железа, конфигурации, профиля трафика и поведения соседних сервисов. Можно успешно прогнать релиз под высокой нагрузкой, но не заметить конкуренцию за ресурсы, которая возникает только на другой архитектуре процессора или при иной смеси запросов. Автоматическое переключение Teams добавило в уравнение ещё один фактор, который легко не увидеть, если команды и контуры надёжности тестируются слишком изолированно.
Другие продукты Microsoft 365 — в том числе Teams, OneDrive и SharePoint — смогли раньше перейти на альтернативную инфраструктуру и восстановиться. У Exchange Online такой возможности, как следует из отчёта, не оказалось. Перезапуск проблемных машин тоже не давал быстрого результата: накопившийся трафик почти сразу перегружал возвращённые серверы. Только после обнаружения корневого дефекта инженеры подготовили исправление и развернули его на затронутой инфраструктуре, после чего сервисы начали стабилизироваться.
Microsoft уже заявила об увеличении мощности, доработке мониторинга и новых ограничениях для механизмов перенаправления трафика, чтобы похожая цепочка не повторилась. Исполнительный вице-президент подразделения Copilot, Agents and Platform Чарльз Ламанна отдельно извинился перед клиентами. Окончательный отчёт компания обещает выпустить позднее; пока предварительная версия отвечает на главный вопрос — почему один старый баг смог превратить обычное ухудшение запаса мощности в международный сбой Microsoft 365.
Для российских IT-команд, использующих облачные офисные сервисы в зарубежных контурах или строящих похожие платформы, вывод вполне прикладной: резервирование не спасает само по себе, если балансировщики способны синхронно перенести перегрузку на оставшиеся узлы. После этого инцидента интереснее всего будет увидеть, изменит ли Microsoft не только тестовые стенды, но и правила изоляции зависимостей между Teams, почтовой инфраструктурой и механизмами межрегионального failover.

