1 июля 2026 года Cloudflare представил пакет инструментов для так называемого Agentic Internet, интернета, где ИИ-агенты и боты становятся штатными посетителями сайтов. Для владельцев площадок это не про красивую концепцию, а про контроль: теперь Cloudflare предлагает разделять трафик на поиск, действия от имени пользователя и обучение моделей, а затем по-разному его пропускать или блокировать.
Cloudflare делит ИИ-трафик на три сценария
Компания ввела три базовые категории: Search, Agent и Training. Первая отвечает за индексирование и поиск, вторая за действия в реальном времени по поручению человека, третья за сбор данных для обучения и дообучения моделей.
С 15 сентября 2026 года для новых доменов в Cloudflare трафик категорий Agent и Training на страницах с рекламой будет блокироваться по умолчанию, а Search останется разрешённым. Это уже другой подход по сравнению с прежним режимом Block AI Bots, который смотрел на ИИ-ботов слишком грубо и не отделял один сценарий от другого.
Главная проблема: смешанный трафик без ясной цели
Cloudflare утверждает, что автоматический трафик уже генерирует больше половины всех веб-запросов. По данным компании, на июнь 2026 года 52% запросов краулеров приходились на обучение ИИ, а ещё более 36% на смешанные сценарии, где один и тот же бот одновременно ищет, действует от имени пользователя и собирает данные для обучения модели.
Именно такие смешанные краулеры компания считает главной проблемой. Пока один бот совмещает поиск и обучение, издатель или интернет-магазин выбирает между видимостью в поиске и бесплатной раздачей своих материалов; по оценке Cloudflare, крупнейший поисковик в такой схеме получает примерно вдвое больше данных, чем ведущие ИИ-компании.
Вместо веры в User-Agent: криптографическая подпись
Для проверки добросовестных агентов Cloudflare опирается на Web Bot Auth, схему, которую компания представила ещё в мае 2025 года. Бот подписывает HTTP-запросы криптографически, а сайт или прокси может проверить, кто именно пришёл, не полагаясь только на строку User-Agent или список IP-адресов.
Для разработчиков и владельцев платформ это практический сдвиг. Если у вас SaaS, медиа, интернет-магазин или публичная документация, придётся отдельно считать поисковые визиты ботов, агентские запросы и попытки обучения моделей, иначе в одной метрике смешаются полезная индексация, действия от имени пользователя и массовый сбор данных.
Значение для рынка
Для русскоязычных команд вывод простой: политика работы с ботами переезжает из файла robots.txt в продуктовую и финансовую модель. В 2026 году уже недостаточно просто запретить всем ИИ или пустить всех ради охвата; нужно понимать, кто именно приходит на сайт, возвращает ли он трафик и не уходят ли ваши материалы в обучение бесплатно.
Следующий шаг уже обозначен: до 15 сентября 2026 года крупным площадкам придётся пересмотреть правила для краулеров, иначе за них это сделают настройки по умолчанию.
Источники: пресс-релиз Cloudflare от 1 июля 2026 года, блог Cloudflare о новых категориях трафика ИИ-ботов, отчёт Cloudflare о трафике и краулерах, разбор TechCrunch.