Cloudflare и GoDaddy анонсировали совместный проект для управления доступом AI-ботов к интернет-сайтам. Это сотрудничество становится актуальным на фоне роста потребления интернет-контента AI-приложениями, которые часто игнорируют интересы владельцев ресурсов.
Проблема с AI-ботами
Согласно Cloudflare, владельцы сайтов теряют значительные доходы, так как AI-агенты, например Google's AI Overviews, часто предоставляют пользователям нужную информацию без перехода на оригинальные источники. В результате пользовательский трафик и, как следствие, доходы владельцев убывают. Инструмент AI Crawl Control, который теперь будет интегрирован в платформу GoDaddy, позволяет владельцам управлять тем, как AI взаимодействует с их контентом, включая возможность блокировки или тарификации за доступ к сайтам.
Технологические решения
Стратегический директор Cloudflare Стефани Коэн прокомментировала: "Мы предоставляем владельцам сайтов необходимые инструменты для защиты своих ресурсов и установления справедливых правил для взаимодействия с AI-агентами." Новые стандарты, такие как Agent Name Service (ANS), также поддерживаются для обеспечения доверия к AI-агентам и улучшения их взаимодействия с сайтами. ANS, разработанный GoDaddy, стал доступен на GitHub.
Cloudflare также предлагает Web Bot Auth — метод аутентификации AI-ботов с помощью криптографических подписей, что позволит различать хорошие и плохие боты, чтобы лицензированные агенты могли выполнять свои функции без помех.
Практическое значение для владельцев сайтов
Для российских владельцев контента это означает, что теперь они могут регулировать взаимодействие AI-ботов с их ресурсами, что открывает новые возможности для получения прибыли. Поскольку интернет-ресурсы становятся все более уязвимыми к действиям ботов, контроль за их достоверностью и качеством взаимодействия важен.
Следующим шагом в развитии этого проекта станет активное внедрение разработанных решений в экосистеме GoDaddy, что повысит защиту и прибыль владельцев веб-ресурсов.