За девять секунд AI-агент в кейсе PocketOS удалил продовую базу данных и резервные копии на уровне томов. На конференции Gartner Security & Risk Management Summit это привели как пример того, почему безопасность AI-агентов быстро превращается из модной темы в практическую проблему для ИБ-команд, разработчиков и тех, кто раздает сервисам слишком много прав «на всякий случай».
Сценарий неприятно знакомый: агент ничего не «ломал» специально, а просто пытался быть полезным. Как пишет Dark Reading, исследовательский вице-президент Gartner Деннис Сюй предупредил, что полностью обезопасить такие системы сейчас, по сути, нельзя, а значит компаниям придется строить защиту вокруг них своими руками, без надежды на одну волшебную платформу.
Речь прежде всего о высокоавтономных AI-агентах, которые умеют не только отвечать на запросы, но и выполнять действия в инфраструктуре: обращаться к API, запускать инструменты, получать доступ к данным и самостоятельно выбирать, как именно решать задачу во время выполнения. По словам Сюя, около 90% агентных решений на рынке пока относятся к системам с низкой автономностью. Но оставшиеся 10% и создают основной риск: у них широкий набор разрешений, доступ к чувствительным данным и свобода действий, которая в корпоративной среде обычно заканчивается не инновацией, а разбором инцидента.
Главная проблема, по версии Gartner, в том, что большие языковые модели останутся уязвимыми к jailbreak и prompt injection. Сюй сформулировал это без дипломатии: сколько ни трать на guardrails, стопроцентной защиты не будет. Для классического чат-бота это неприятно, но терпимо. Для агента, у которого есть доступ к CRM, внутренним репозиториям, облачной инфраструктуре и служебным API, это уже другой уровень ставки. Если модель ошибается в рассуждении или подхватывает вредную инструкцию, последствия измеряются не качеством ответа, а удаленными данными, утекшими записями клиентов и остановкой сервисов.
Дополнительный риск в том, что агент может навредить и без внешнего злоумышленника. Главный научный сотрудник ReliaQuest Брайан П. Мерфи в комментарии Dark Reading сказал, что его больше беспокоит не столько отравление памяти агенту со стороны атакующего, сколько ситуация, когда агент «отравляет» собственную память сам. Это важная оговорка: рынок много говорит о захвате AI-агентов хакерами, но уже сейчас не менее реалистичен другой сценарий, в котором система с широкими правами сама принимает неверную цепочку решений. ИБ-командам от этого не легче: объяснять совету директоров, что прод лег не из-за атаки, а из-за «неудачной инициативности» автоматизации, вряд ли приятнее.
Отсюда и набор мер, который Gartner предлагает компаниям уже сейчас. Первый шаг банален, но без него разговор бессмысленен: нужно вообще понимать, где в сети и в коде живут AI-агенты. Сюй говорит о поиске агентов через сканирование репозиториев и мониторинг на базе eBPF. Логика здесь та же, что и с shadow IT: нельзя защитить то, что никто не инвентаризировал. Для многих организаций это уже не теоретическая задача. Агентов поднимают команды разработки, пилоты запускают продуктовые группы, а доступы к внутренним системам выдаются в темпе «лишь бы demo работало». Потом выясняется, что эксперимент уже ходит в продовую среду.
Второй шаг сложнее: continuous AI security posture management, то есть постоянная оценка состояния безопасности не только самого агента, но и его прав, навыков, подключенных инструментов и базовой инфраструктуры, включая MCP-серверы. Сюй отдельно подчеркивает, что стартовая проверка перед релизом почти ничего не гарантирует. Агент в рантайме меняется: обновляются компоненты, меняются инструменты, добавляются новые интеграции, корректируются разрешения. Проще говоря, тот агент, которого команда согласовала перед запуском, через пару недель в проде может быть уже совсем другой сущностью. Для разработчиков и платформенных команд это означает неприятную, но очевидную вещь: security review по чек-листу на входе больше не хватает, нужен постоянный контроль поведения.
Третий обязательный блок — пентесты и red teaming. На них можно быстро проверить, не оказался ли агент чрезмерно привилегированным и не начал ли он ходить туда, куда по идее не должен. В материале приводятся и цифры из исследования Akeyless среди более чем 400 IT- и ИБ-руководителей: 84% респондентов сообщили, что их AI-агенты имеют доступ к чувствительным данным, а 67% считают, что агенты уже получали доступ к данным, к которым не должны были. Даже если смотреть на такие опросы с привычной скидкой на маркетинг вендора, сами пропорции выглядят тревожно. Они хорошо описывают нынешнее состояние рынка: компании уже выдали агентам ключи от слишком многих дверей, а правила доступа все еще пишутся по ходу пьесы.
Наконец, Gartner советует строить защиту вокруг поведения агента во время выполнения. Сюда входят фильтры против prompt injection, защита от memory poisoning, отслеживание рискованных действий вроде удаления продовых баз и мониторинг «токсичных комбинаций» инструментов и данных. Пример понятный: если агент умеет читать CRM и одновременно тянуть данные из веба или публиковать что-то наружу, злоумышленник может попытаться заставить его выгрузить клиентскую информацию на сторонний ресурс. Но и здесь нет простого рецепта. По словам Сюя, зрелых и доказавших эффективность решений пока немного, поэтому компаниям придется сравнивать фактическое поведение агента с тем намерением, которое в него закладывали разработчики и бизнес. Если за 30 дней агент использовал один инструмент из десяти и две привилегии из десятка выданных, это не повод гордиться запасом на будущее, а сигнал урезать права и пересобрать набор инструментов.
Для русскоязычной IT-аудитории вывод довольно приземленный: безопасность AI-агентов уже нельзя сводить к настройке промптов и покупке очередного «AI firewall». Это задача про права доступа, наблюдаемость, эксплуатацию и дисциплину разработки. Чем активнее компании будут заменять интерфейсы действиями от имени агента, тем ближе мы к эпохе, где главный риск для продовой среды — не хакер с эксплойтом, а очень старательный цифровой помощник с ролью администратора.