Cloudflare и AI-боты переходят в новую фазу конфликта: с 15 сентября 2026 года компания начнет по умолчанию блокировать «смешанные» краулеры на страницах с рекламой. Для медиа, SaaS-платформ и всех, кто живет за счет контента и трафика, это не косметическая настройка, а попытка заново определить правила доступа к данным, на которых учатся модели и работают AI-агенты.
Как пишет TechCrunch, Cloudflare дала AI-компаниям срок до 15 сентября, чтобы разделить ботов для классического поиска и ботов для обучения моделей или агентских сценариев. Если этого не произойдет, краулеры смешанного назначения будут блокироваться по умолчанию на страницах с рекламой. Новые настройки затронут новых клиентов Cloudflare, новые сайты действующих клиентов и всех существующих пользователей бесплатного тарифа. Иными словами, речь не о точечном эксперименте, а о довольно широком изменении дефолтной политики.
Логика Cloudflare проста и довольно неприятна для AI-рынка. Владельцы сайтов, по версии компании, обычно хотят оставаться видимыми в поиске и не против получать переходы из AI-сервисов, но не готовы бесплатно отдавать интеллектуальную собственность под обучение моделей и работу агентских продуктов. Пока эти сценарии ходят в одном бот-трафике, у издателя часто нет нормального способа сказать «да» поиску и «нет» AI-обучению, не рискуя потерять видимость. Именно в эту серую зону и бьет новая политика.
Cloudflare отдельно указывает на «крупнейшую в мире поисковую систему», явно имея в виду Google. Аргумент компании звучит болезненно для конкурентов: у поискового гиганта примерно вдвое больше информации, чем у других AI-игроков, потому что он уже встроен в инфраструктуру веб-индексации, а владельцам сайтов трудно сохранить обнаруживаемость, не открывая заодно доступ для AI-сценариев. Google с такой трактовкой спорил и раньше. Компания напоминает о боте Google Extended, через которого можно отказаться от использования контента для обучения и AI-продуктов вроде Gemini Apps и Vertex API без выпадения из Google Search. Но проблема, на которую намекает Cloudflare, глубже: основной Googlebot обслуживает поиск, а в современном поиске уже живут AI Overviews и AI Mode. Для издателя это означает, что граница между «индексацией ради ссылок» и «забором контента в AI-ответы» становится все менее очевидной.
Срок выбран не случайно. Cloudflare недавно сообщала, что большая часть интернет-трафика впервые стала нечеловеческой: боты уже обгоняют людей. Еще недавно такой рубеж ожидали только в следующем году, а теперь он наступил раньше. На этом фоне слова сооснователя и CEO Cloudflare Мэттью Принса о необходимости действовать быстрее выглядят не как пиар-риторика, а как реакция на изменившуюся механику сети. Когда основная нагрузка создается не читателями и покупателями, а автоматическими системами, прежняя модель «веб как бесплатный слой данных для всех» начинает разваливаться хотя бы на уровне экономики трафика и инфраструктурных затрат.
Для AI-компаний история неприятна сразу по нескольким причинам. Первая очевидна: придется четче маркировать назначение своих краулеров и, вероятно, разводить контуры сбора данных для поиска, агентов и обучения. Вторая менее очевидна, но важнее: сам рынок постепенно толкают к модели, где доступ к качественному контенту становится не технической возможностью, а коммерческой лицензией. Cloudflare уже запускала инструменты против AI-ботов и делала маркетплейс Pay Per Crawl, позволяющий сайтам брать плату за скрейпинг. Теперь эта схема развивается в Pay Per Use: издателю предлагают платить не только за сам факт обхода страницы, но и в тех случаях, когда его контент реально создает ценность в AI-продукте.
Это важный поворот. Плата за crawl еще можно было трактовать как инфраструктурную компенсацию за трафик и расход ресурсов. Плата за use уже ближе к модели распределения ценности, пусть и в весьма сыром виде. Cloudflare приводит еще один практический аргумент: более 50% трафика от AI-краулеров уходит на повторную загрузку страниц, которые вообще не изменились. Для медиа и контентных площадок это означает прямые расходы на канал, CDN, вычисления и обслуживание, причем без гарантии, что в ответ они получат аудиторию, подписчика или хотя бы брендовый реферальный трафик. В такой рамке разговор про «открытый веб» быстро становится разговором про чужой CAPEX и OPEX.
Пока схема монетизации запускается не в вакууме, а с двумя партнерами: Ceramic.ai и You.com. Если издатель подключается к модели, он получает деньги, когда его контент появляется в AI-поиске Ceramic или когда You.com обращается к премиальному материалу. Это не выглядит как окончательное отраслевое решение, но показывает, в какую сторону Cloudflare хочет сдвинуть переговорную позицию издателей. Не просто блокировать, а заставить AI-компании выбирать между прозрачными условиями доступа, разделением назначения ботов и оплатой. Для стартапов, которые строят агентские продукты и рассчитывают на дешевый доступ к открытому вебу, новость неприятная: стоимость данных может вырасти не за счет GPU, а за счет инфраструктурных посредников и правообладателей.
Для русскоязычной IT-аудитории здесь есть вполне прикладной вывод. Если вы развиваете контентный продукт, медиа, маркетплейс, документационный портал или вертикальный сервис с сильной базой знаний, доступ к вашему контенту перестает быть чисто SEO-настройкой. Это уже вопрос продуктовой политики: кого пускать, на каких условиях и что считать допустимым обменом ценностью. Если вы строите AI-поиск, ассистента или агента, пора исходить из того, что «бот заходит в интернет и все читает» больше не является нейтральной технической предпосылкой. Веб дробится на слои доступа, и тот, кто умеет контролировать трафик на входе, получает рычаг влияния на всю экономику генеративного рынка.
Главный вопрос теперь не в том, сможет ли Cloudflare технически осложнить жизнь смешанным краулерам, а в том, последуют ли за ней другие крупные инфраструктурные игроки и издатели. Если да, рынок быстро двинется от разговоров о fair use к переговорам о тарифах, правах и прозрачности ботов. И тогда спор о будущем открытого веба окончательно превратится в спор о том, кто именно имеет право зарабатывать на чужом тексте. Подробности можно сверить в .