Для связи двух ИИ-площадок мощностью по 100 МВт может понадобиться от 12 до 32 тысяч когерентных оптических портов — против 1–2 тысяч у обычной междата-центровой сети. Распределённое обучение ИИ превращает сеть между ЦОДами из инфраструктурной детали в часть вычислительной машины: задержка или потеря пакета теперь способна оставить тысячи GPU в ожидании.
Крупные облачные игроки уже вышли за границы одного кампуса, сообщает The Register. Google заявляла о синхронном обучении Gemini на кластерах в нескольких локациях; Microsoft объединила ИИ-ЦОДы в Висконсине и Джорджии в распределённый суперкомпьютер; AWS связала вычислительные кластеры на большой территории для работы Anthropic над Claude. Meta строит высокопроизводительные междата-центровые соединения для обучения моделей, а CoreWeave и Google Cloud недавно объявили о кросс-облачном обучении через частный интерконнект.
Причина проста и весьма материальна: крупнейшие кластеры перестают помещаться в привычные границы дата-центра. Cisco оценивает современные задачи обучения в десятки тысяч GPU. Исследователи Epoch AI допускают, что к 2030 году отдельные передовые запуски обучения смогут потреблять 4–16 ГВт. Распределение нагрузки позволяет искать свободную электроэнергию, площадки и более реалистичные условия строительства, а не ждать, пока один удачно расположенный ЦОД получит ещё несколько гигаватт и разрешение на расширение.
У большой языковой модели есть миллиарды числовых параметров, которые корректируются после каждой порции обучающих данных. Тысячи GPU могут обрабатывать разные батчи или фрагменты модели параллельно, но затем должны обменяться градиентами и промежуточными результатами. Это не спокойная передача датасета из точки А в точку Б, а регулярные синхронные всплески трафика. По словам Рамеша Сиваколунду из команды архитектуры Cisco Silicon One, цикл обучения постоянно повторяет две операции: вычисление и синхронизацию весов между ускорителями.
Именно синхронизация делает сеть болезненным местом. Когда множество ускорителей одновременно заканчивают вычисления, они могут начать отправлять данные одному узлу или группе узлов. Возникает incast: входящий поток оказывается больше, чем способен принять следующий линк. В асинхронной корпоративной сети задержка одного потока обычно переживаема. В синхронном обучении более медленная группа GPU не может просто продолжить работу в одиночку: коллективная операция должна завершиться для всех участников. Повторная передача потерянных данных удлиняет этап обмена, а серьёзный сбой способен откатить расчёт к сохранённому чекпойнту.
Внутри одного ЦОДа инженеры могут спроектировать fabric под известное число GPU и нужную скорость портов. В стойке речь идёт о соединениях на 800 Гбит/с или 1,6 Тбит/с; между рядами стоек и залами используются оптические модули, рассчитанные примерно на дистанции до 2 км. При переносе той же скоординированной нагрузки в другой ЦОД трафик часто попадает в более узкий межплощадочный канал. Для традиционного DCI это не было драмой: он обычно обслуживает резервирование, репликацию и распределение независимых приложений. Для распределённого обучения ИИ такой канал становится частью критического пути каждого обучающего шага.
На расстояниях в сотни километров короткодействующая дата-центровая оптика уже не подходит для сигналов 400–800 Гбит/с. Нужна когерентная оптика с цифровой обработкой сигнала, которая компенсирует искажения в волокне. По расчётам Cisco, суммарная требуемая пропускная способность крупных распределённых ИИ-развёртываний может быть примерно в 14 раз выше обычного DCI. При скоростях 400 или 800 Гбит/с на порт это означает многопетабитные соединения, а вместе с ними — дополнительные требования к питанию, охлаждению и месту в стойках. Производители продвигают когерентные модули, которые ставятся прямо в порты маршрутизаторов и коммутаторов: так можно не разворачивать отдельный ряд DWDM-транспондеров.
Даже идеальная ёмкость канала не отменяет физику. Чем дальше площадки друг от друга, тем дольше сигнал о перегрузке возвращается к отправителю. Cisco подсчитала, что на линии 800 Гбит/с длиной 100 км за время такой обратной связи в пути уже может оказаться около 100 МБ данных. Для разработчиков распределённых систем это усиливает цену неудачных схем синхронизации, для операторов — повышает роль предсказуемой задержки и контроля перегрузок, а для бизнеса — делает выбор географии ЦОДов вопросом не только тарифа на электричество. Следующий узкий ресурс в гонке за более крупными моделями может оказаться не GPU и не мегаватты, а способность сети удерживать тысячи ускорителей в одном ритме.