24 марта коммунальные власти Шайенна в штате Вайоминг отозвали у подрядчика Meta право сбрасывать воду после пуско-наладочных работ и вскоре расширили запрет на все дата-центры, подключенные к городской системе. Для рынка, где охлаждение дата-центров все чаще продают как «почти безводное», история неприятная: даже замкнутый контур оказывается не таким уж замкнутым, когда до запуска его надо заполнить, промыть и куда-то деть эту воду.
По данным Tom's Hardware, городской Board of Public Utilities связал проблему с Goat Systems LLC, компанией, которую Meta использует при строительстве кампуса в Шайенне. В сточных водах после процедуры fill-and-flush обнаружили Cupriavidus gilardii — редкую бактерию, устойчивую к металлам. Она попала в санитарную канализацию, дошла до двух городских установок водоочистки и вывела систему повторного использования воды из строя на несколько месяцев, пока шла очистка.
Сама процедура fill-and-flush для инженеров не экзотика, а рутина. Перед запуском замкнутого контура охлаждения трубопроводы заполняют водой и промывают, чтобы убрать мусор, остатки монтажа и все, что потом не должно гулять по системе вместе с теплоносителем. Проблема в том, что на этом этапе вода еще не «живет» внутри герметичного цикла, а уходит наружу. В случае Шайенна именно этот технический хвост и оказался самым токсичным с точки зрения эксплуатации городской инфраструктуры.
Менеджер инженерного и водного подразделения коммунального совета Фрэнк Стронг рассказал местной прессе, что воду для заполнения подрядчик купил у самого же коммунального предприятия, а происхождение бактерии пока не установлено. Лаборатория заметила ее в феврале во время планового анализа на фекальные бактерии, причем, по словам Стронга, на такой организм обычно вообще не тестируют. Это важная деталь: инцидент всплыл не потому, что все участники цепочки предусмотрели редкий сценарий, а потому что он случайно попал в чужую проверку. Для быстрорастущего рынка ИИ-инфраструктуры это звучит как предупреждение: если у вас есть редкий режим работы, который никто отдельно не мониторит, он однажды найдет способ стать проблемой города.
У коммунальщиков претензия была не только к самой бактерии. Шайенн использует очищенную и повторно подготовленную воду для полива парков, гольф-полей и других зеленых зон. Если такая вода загрязнена, риск не ограничивается трубами и отстойниками: при орошении возможна аэрозольная передача, а это уже совсем другой уровень нервозности для местных властей. Плюс замкнутые контуры охлаждения могут содержать гликоль и другие химические компоненты, под которые муниципальные очистные сооружения просто не проектировались. Иными словами, город столкнулся не с абстрактной «экологической повесткой», а с прямым несовпадением между инженерией гипермасштабного дата-центра и возможностями обычной городской системы водоотведения.
Формально Cupriavidus gilardii не входит в перечень регулируемых загрязнителей, но этого не хватило, чтобы инцидент прошел по разряду досадных недоразумений. Коммунальный совет квалифицировал ситуацию как interference и pass-through по городскому кодексу Шайенна и федеральным правилам pretreatment, то есть как сброс, который нарушает работу очистки и проходит через нее туда, где его быть не должно. Для Meta это плохая новость не только в локальном смысле. Когда у города появляются такие основания, разговор быстро смещается от «разберемся на площадке» к пересмотру правил для всех аналогичных объектов. Собственно, так и произошло: после отзыва разрешения у Goat Systems более широкий запрет распространили на все дата-центры, пользующиеся городскими сервисами.
Meta заявила, что поддерживает своего генерального подрядчика Fortis, который прекратил сбросы и начал вывозить сточные воды за пределы объекта. Компания также сослалась на независимое тестирование, не обнаружившее следов этой бактерии. Позднее анализы на объектах Dry Creek и Crow Creek в конце июня показали, что система повторного использования воды снова чиста, после чего ее вернули в работу. Но политический осадок никуда не делся: член городского совета Пит Лейборн назвал случившееся «очень, очень неприятным сюрпризом». Для муниципалитета, который уже живет рядом с большой стройкой, это вполне читается как мягкая формулировка жесткого вопроса: кто и в какой момент должен был заметить риск раньше.
На более широком уровне история бьет по одному из любимых тезисов индустрии о том, что охлаждение дата-центров на жидкостных замкнутых контурах почти снимает водную нагрузку. Microsoft и Nvidia действительно продвигают такие схемы как более бережные по отношению к воде по сравнению с испарительным охлаждением. У Microsoft акцент на том, что система заполняется один раз на этапе строительства и потом гоняет ту же воду по кругу. Nvidia для платформы Rubin описывает теплоноситель, который состоит на 75% из воды и на 25% из пропиленгликоля. В рекламной логике все выглядит аккуратно. В эксплуатационной реальности остается неудобный этап между «собрали» и «герметично запустили», и именно на нем наружу выходят и промывочная вода, и возможная биология, и химия, которую городской очистке никто не обещал.
Для бизнеса и тех, кто строит инфраструктуру, вывод здесь очень приземленный. Если объект заявлен как «closed loop», это еще не освобождает от отдельного сценария для commissioning water, от входного контроля закупаемой воды, от журналирования и от заранее согласованной схемы утилизации промывочных объемов. Для продуктовых и IT-команд это, может, звучит как скучная часть большой железной машины, но именно такие скучные процессы потом останавливают стройки, меняют регуляторный режим и дорожают CAPEX. Рынок ИИ-дата-центров растет быстрее, чем города успевают переписывать правила под их инженерную экзотику. И вопрос теперь не в том, будут ли муниципалитеты внимательнее смотреть на охлаждение дата-центров, а в том, сколько еще проектов обнаружат у себя «почти безводный» этап, который почему-то требует очень много воды, согласований и терпения соседей.