Cloudflare меняет правила игры для сайтов, поисковиков и AI-компаний: с 15 сентября 2026 года платформа начнет по умолчанию ограничивать AI-скрапинг на страницах с рекламой, если бот совмещает обычную индексацию и задачи для обучения моделей или AI-агентов. Для русскоязычного IT-рынка это важный сигнал: инфраструктурный игрок с огромной долей веба пытается заново определить, кто и на каких условиях может забирать контент.
Речь не о точечной настройке для параноиков и не о еще одном чекбоксе в панели управления. Как пишет Engadget, Cloudflare переводит защиту от спорного использования контента в режим по умолчанию. Компания будет автоматически блокировать так называемых mixed-use crawler'ов, если они одновременно индексируют сайты для поиска и используют те же данные для AI-задач, а владельцу сайта не дают прозрачного выбора. Особенно жестко новые правила затрагивают страницы с рекламой: там Cloudflare хочет отделить трафик, который приносит деньги издателю, от трафика, который просто выкачивает данные для чужих ответов в чат-ботах.
Механика выглядит довольно конкретно. С 15 сентября новые клиенты Cloudflare и новые сайты у уже существующих клиентов будут по умолчанию переведены в режим: поиск разрешен, обучение моделей и агентское использование на рекламных страницах заблокированы. Бесплатные аккаунты тоже попадут под эти настройки, если заранее не отключат их до дедлайна. Иначе говоря, компания больше не предлагает владельцу сайта самому разбираться в зоопарке AI-ботов: базовая позиция теперь оборонительная. Для рынка это заметный поворот, потому что раньше Cloudflare давал такую защиту как опцию, а теперь делает ее стандартом.
Причина проста и неприятна для всей веб-экономики. Исторически сайт монетизировал трафик через рекламу, подписки, лиды или хотя бы узнаваемость. Но если вместо живого человека на страницу приходит бот, быстро забирает свежую информацию и относит ее в ответ AI-сервиса, экономика ломается. Пользователь получает готовую выжимку, а издатель, который оплатил редакцию, серверы и маркетинг, остается без визита, просмотра баннера и шанса на конверсию. Cloudflare прямо формулирует проблему через статистику: по словам гендиректора и сооснователя Мэттью Принса, уже большая часть интернет-трафика не является человеческой. Это сильное заявление от компании, стоящей на критическом слое веб-инфраструктуры, и в нем слышится не только забота о клиентах, но и попытка навязать новый стандарт поведения для AI-рынка.
Параллельно Cloudflare обновляет и платную модель доступа к контенту. Запущенная в 2025 году схема Pay Per Crawl, где сайт мог брать деньги за сам факт обхода страницы AI-ботом, переименована в Pay Per Use. Логика меняется: теперь платить предлагается не за то, что робот зашел на страницу, а за то, что контент реально появился в ответе AI-чатбота. На бумаге это выглядит разумнее. Обход страницы сам по себе еще не означает ценности, а вот цитирование, пересказ или использование в ответе уже ближе к реальной коммерческой выгоде для AI-компании. Пока среди партнеров названы только Ceramic.AI и You.com, так что о сформировавшемся рынке лицензированного AI-доступа говорить рано. Но сам вектор понятен: Cloudflare хочет стать посредником, который не просто режет нежелательный AI-скрапинг, а еще и продает легальный доступ тем, кто готов играть по правилам.
Почему это похоже на давление на Google
Самый интересный слой истории — не защита от абстрактных стартапов, а косвенный удар по крупным платформам, прежде всего по Google. Cloudflare в своем анонсе фактически указывает на проблему совмещенных краулеров: крупнейший поисковик получает примерно вдвое больше информации, чем ведущие AI-компании, потому что сайтам сложно оставаться заметными в поиске и одновременно не отдавать контент на AI-использование. Здесь конфликт уже не технический, а стратегический. Если один и тот же бот отвечает и за поисковую индексацию, и за AI-функции, издатель оказывается в слабой позиции: откажешься от бота полностью — потеряешь видимость в поиске; согласишься — фактически подпишешься под использованием контента в чужих генеративных продуктах.
В материале Engadget приводится конкретный пример с экосистемой Google. Основной Googlebot одновременно участвует в индексировании сайтов для поисковых сервисов компании и в сборе данных для Gemini, AI Overviews и AI Mode. При этом у Google есть отдельный crawler под названием Google-Extended, который позволяет управлять частью AI-использования, но схема не закрывает все сценарии. Если издатель хочет присутствовать в результатах AI Mode, но не хочет, чтобы его материалы шли на обучение моделей, прямого и чистого выбора у него нет. Именно в такие серые зоны и бьет Cloudflare. Сигнал для крупных игроков довольно прямой: разделяйте поисковый обход, агентские сценарии и обучение моделей по разным сущностям, иначе инфраструктурный слой начнет блокировать вас по умолчанию.
Для разработчиков, продуктовых команд и владельцев контентных проектов здесь несколько практических выводов. Первый: AI-скрапинг перестает быть абстрактной темой для юристов и редакторов и становится инфраструктурной политикой, которую нужно учитывать на уровне CDN, WAF и аналитики ботов. Второй: если продукт зависит от органического трафика, уже недостаточно просто открыть сайт поисковикам и надеяться на честную игру. Придется понимать, какие боты приходят, что именно они делают и можно ли разделить доступ для поиска, агентов и обучения. Третий: для AI-стартапов окно бесплатного веба сужается. Чем больше поставщики инфраструктуры и издатели хотят контроля, тем выше шанс, что качественный и свежий контент уйдет либо под лицензирование, либо под частичный запрет.
Для бизнеса это еще и вопрос переговорной силы. Если раньше издатель спорил с отдельным ботом или отдельной моделью, теперь он может делегировать часть конфликта Cloudflare. Это удобно, но и рискованно: когда один инфраструктурный провайдер начинает определять правила доступа к контенту, он неизбежно превращается в арбитра между медиа, поиском и AI. С точки зрения рынка это может привести к более прозрачным правилам. С точки зрения конкуренции — к усилению роли посредника, через которого придется проходить и издателю, и AI-компании.
Главный вопрос теперь не в том, можно ли технически ограничить AI-скрапинг, а в том, согласятся ли крупнейшие платформы жить по модели с четким разделением поискового и AI-доступа. Если да, рынок контента получит более внятную экономику. Если нет, интернет рискует окончательно расколоться на зоны открытой индексации, платного лицензирования и закрытых данных, к которым AI-сервисы будут пробиваться уже не как поисковики, а как коммерческие клиенты. Проверить детали анонса и формулировки Cloudflare можно в материале .