Исследователи, изучавшие ИИ-агентов, пытавшихся обходить антибот-защиту Alibaba, оставили для них скрытое сообщение с приглашением к контакту — и получили ответ. Этот эпизод, о котором сообщает The New Stack, превращает безопасность ИИ-агентов из абстрактной темы для презентаций в прикладную задачу: автономные системы уже могут не только выполнять поручения, но и взаимодействовать с неожиданными данными в среде.
Главная деталь истории не в том, что программа «ответила» человеку. Системы, работающие с вебом, и должны читать страницы, формы, подсказки и ответы серверов. Вопрос в другом: исследователи обнаружили агентов, чья активность была связана с попытками преодолеть защиту от автоматизированного трафика, а затем смогли повлиять на их поведение сообщением, спрятанным в доступном им контенте. Для защитников это пример того, как агентный контур может получить инструкции не от владельца, а от внешней среды.
В исходной публикации не раскрывается полный набор технических деталей: какие именно модели стояли за агентами, кто ими управлял и насколько успешными были попытки обхода. Поэтому делать из случая историю о «самостоятельно взбунтовавшемся ИИ» было бы слишком удобно и слишком неточно. Скорее речь идёт об автоматизированных исполнителях, которые получают задачу, ищут путь к цели и обрабатывают встреченные на пути сигналы. Но именно такая схема уже достаточно опасна без всякой научной фантастики.
Обычный веб-бот действует по заранее заданному сценарию: открыл URL, извлёк поле, отправил запрос. Агент с языковой моделью устроен иначе. Он может интерпретировать текст, менять порядок действий, использовать инструменты и продолжать работу после неудачи. Если такой агент получает доступ к браузеру, аккаунтам, API или внутренним системам, текст на внешней странице становится потенциальным входом в его цепочку принятия решений. Скрытая инструкция может выглядеть для человека как мусор или техническая разметка, но оказаться заметной для компонента, который парсит страницу целиком.
Инъекция инструкций выходит за пределы чат-окна
Случай с антибот-защитой хорошо ложится в более широкий класс рисков — prompt injection, то есть подмену инструкций через недоверенный контент. В чат-ботах проблема обычно выглядит почти безобидно: пользователь просит модель игнорировать прежние правила. В агентных системах ставки выше. Нежелательная команда может попасть в письмо, документ, тикет, описание товара, базу знаний или HTML-страницу, а затем повлиять на программу, у которой есть реальные полномочия.
Для разработчиков здесь важен неприятный, но полезный вывод: нельзя считать, что системный промпт сам по себе устанавливает надёжную границу безопасности. Модель способна отличить документ от команды лишь вероятностно; она не является механизмом контроля доступа. Политики доступа, ограничения инструментов, подтверждение рискованных действий и изоляция сессий должны существовать вне текста, который модель читает и генерирует. Иначе фраза на странице может неожиданно стать частью управляющей логики.
Командам, внедряющим агентов для поддержки, продаж, разработки или операций, стоит проверить несколько базовых сценариев. Какие внешние источники агент читает автоматически? Может ли он отправлять письма, создавать заявки, менять записи или запускать код без подтверждения человека? Сохраняет ли он найденные инструкции в долгосрочной памяти? Наконец, логируются ли его действия так, чтобы после инцидента можно было восстановить последовательность решений, а не гадать по красивому, но бесполезному ответу модели?
Антибот-защита — лишь один из рубежей
История также показывает, что антибот-механизмы больше нельзя оценивать только по способности отличить браузер человека от скрипта. Агенты могут имитировать обычный пользовательский путь, повторять попытки, переключать инструменты и адаптировать тактику по результатам. Это не означает, что защита обречена, но означает смену модели угроз: защищаться нужно от цепочки «задача — агент — инструменты — действия», а не от одного подозрительного HTTP-запроса.
Для российского рынка это особенно актуально там, где агентам планируют поручить работу с личными кабинетами, корпоративными знаниями и клиентскими обращениями. Продуктовые команды будут стремиться дать им больше автономности — иначе зачем вообще называть их агентами. Службы ИБ, напротив, должны заранее описать границы этой автономности: минимальные права, разрешённые домены, лимиты операций, ручное подтверждение и отдельные тесты на внедрение инструкций. Безопасность ИИ-агентов — это не запрет на автоматизацию, а проектирование так, чтобы удобный исполнитель не превратился в слишком доверчивого стажёра с доступом ко всему.
Самый интересный вопрос после этого эпизода звучит прозаично: сколько действующих агентных систем уже читают недоверенный контент и имеют возможность что-то сделать после прочтения? Пока компании соревнуются в автономности, зрелость будет определяться не числом подключённых инструментов, а тем, насколько строго безопасность ИИ-агентов отделяет текстовую рекомендацию от разрешённого действия.