Cloudflare запустил новый инструмент редиректов, который обеспечивает, чтобы AI-обучающие краулеры перенаправлялись на актуальный контент. Это важно, поскольку некоторые краулеры не учитывают метатеги неиндексации и каноничности, что приводит к потреблению устаревшего материала.
Проблемы с устаревшим контентом
Согласно этим Cloudflare, за последние 30 дней AI-краулеры, такие как GPTBot, посетили сайт разработчиков 4,8 миллиона раз, и старый контент потреблялся с той же частотой, что и новый. Это создает риск для обучающих моделей, которые могут принимать устаревшую информацию за актуальную. Осуществление редиректов поможет исключить этот риск и улучшить качество данных.
Как работают новые редиректы
Система редиректов для AI использует уже существующие канонические теги и активируется автоматически для всех платных планов Cloudflare. При запросе от проверенного AI-краулера система определяет наличие канонического тега, и, если он не — само-ссылающимся, выполняет редирект на актуальную версию страницы с кодом 301. Это обеспечивает, что краулеры всегда получают актуальные данные, в то время как пользовательский трафик остается неизменным.
Зачем это нужно для разработчиков
Для специалистов разработки это означает, что теперь можно сосредоточиться на создании актуального контента без страховки, что устаревшая информация будет принята краулерами. Системы редиректов также снизят трудозатраты на управление контентом, позволяя автоматизировать процесс перенаправления для AI. Важность актуальности этих в сфере AI невозможно переоценить, и внедрение этой функции позволит сохранить издержки и повысить эффективность работы.
В ближайшее время Cloudflare собирается продолжать улучшать данную функцию, добавляя новые возможности для работы с AI-краулерами.