КИБЕРБЕЗОПАСНОСТЬ

Red Hat: безопасность ИИ-агентов начинается с права сказать «нет»

На KubeCon + CloudNativeCon обсудили безопасность ИИ-агентов: автономность полезна лишь при строгих границах доступа и проверяемых действиях.

✍️ Редакция iTech News | 19.11.2026 | ⏱ 4 мин | Источник: The New Stack
⚠

ИИ-агенты стали одной из самых заметных тем KubeCon + CloudNativeCon North America, но главный вопрос на конференции звучал не как «что они умеют», а как «кто и где может их остановить». Архитектор по ИИ из Red Hat сравнил сильных агентов с лучшими участниками escape room: они быстро находят связи между подсказками, используют доступные инструменты и уверенно движутся к цели. Для русскоязычных команд это прямое напоминание: безопасность ИИ-агентов нельзя свести к фильтру промптов или отдельному чекбоксу в настройках модели.

Как сообщает The New Stack, дискуссия на KubeCon была посвящена разрыву между эффектными демонстрациями и реальной эксплуатацией. Агент отличается от привычного чат-бота не красноречием. Ему дают инструменты: читать данные, вызывать API, создавать тикеты, работать с репозиториями, запускать команды и передавать задачу другим системам. В этот момент ошибка перестаёт быть неудачным ответом в окне чата. Она может стать лишним запросом к базе, неверным изменением инфраструктуры или утечкой данных через разрешённый, но плохо ограниченный канал.

Метафора с escape room здесь полезна именно своей непоэтичностью. Хороший игрок не обязан понимать замысел автора комнаты целиком: он видит замок, ключ, записку и следующую дверь. Агент действует похожим образом — строит цепочку шагов из того, что видит в контексте и в наборе доступных инструментов. Если ему случайно открыли путь к секрету, внутреннему сервису или платёжному API, он не обязан отличить «рабочую инструкцию» от опасной комбинации команд. Особенно если вредоносная инструкция попала в документ, веб-страницу, письмо или описание задачи, которое агенту разрешено читать.

Отсюда неприятный для рынка вывод: автономность нельзя измерять только числом подключённых интеграций. Чем больше агент умеет делать без человека, тем важнее заранее определить границы его полномочий. Запрет «не раскрывай секреты» в системном промпте не заменяет технический контроль доступа. Промпт — это инструкция, а не изолированная среда исполнения. Если агенту доступен токен с широкими правами, модель может не «взломать» систему в привычном смысле, а просто воспользоваться выданным ей ключом.

Для разработчиков это меняет привычный порядок внедрения. Сначала стоит разложить сценарий на конкретные действия: какие данные агент читает, какие сервисы вызывает, что может изменить и какие операции допускаются только после подтверждения человека. Затем — выдать отдельные учётные данные с минимальными правами, ограничить области доступа и сделать все вызовы инструментов наблюдаемыми. Агенту, который готовит черновик ответа клиенту, не нужен доступ к production-базе. Агенту, который анализирует логи, не обязательно разрешать выполнять команды на кластере. Звучит как базовая гигиена IAM, но вокруг ИИ-проектов она слишком часто растворяется в обещании «быстрого пилота».

Нужны и ограничения по контексту. Данные из внешних источников — страницы, вложения, сообщения в таск-трекере — разумно считать недоверенными, даже если агенту поручено их обработать. Их нельзя автоматически превращать в команды для инструментов. Полезна явная развилка: модель может прочитать материал и предложить действие, но выполнение рискованной операции требует отдельной проверки политикой, человеком или обоими сразу. Такой подход добавляет трения, зато не превращает любой найденный в интернете текст в потенциальный сценарий управления внутренней системой.

Бизнесу придётся выбрать, где именно автономность окупается. Для задач с обратимым результатом — классификации обращений, поиска по документации, подготовки черновиков, маршрутизации типовых запросов — агент может заметно разгрузить команду. Для операций с деньгами, персональными данными, правами доступа и production-инфраструктурой цена ошибки выше экономии нескольких минут. Здесь нужны журнал действий, лимиты на число и стоимость вызовов, изолированное окружение и понятный владелец каждого разрешения. Не «команда ИИ вообще», а конкретный человек или подразделение, которое отвечает за риск.

Безопасность ИИ-агентов также возвращает в центр внимания платформенные команды. Им придётся строить не только удобный каталог моделей и API, но и слой политик вокруг инструментов: аутентификацию, разграничение прав, аудит, секреты, сетевые ограничения и аварийную остановку. Набор этих механизмов давно знаком DevOps- и security-инженерам. Новизна в том, что субъектом доступа становится система, способная сама выбирать следующий шаг, а не строго запрограммированный сервис с предсказуемым маршрутом.

Главный тренд после KubeCon выглядит прозаично: выиграют не те, кто первым подключит агенту максимум инструментов, а те, кто сумеет безопасно сузить его поле действий. Escape room хорош тем, что у него есть стены, правила и выход. В корпоративной инфраструктуре агенту тоже нужны все три — иначе игра быстро становится инцидентом.

Поделиться: Telegram X LinkedIn