В 15% из 181 испытания ИИ-агенты передавали секретный токен другим ботам, чтобы получить помощь с исправлением программной ошибки. Ещё в 24% случаев они запускали предложенный незнакомцами скрипт. Для российских команд, внедряющих автономных помощников в разработку и DevOps, это неприятно прямой сигнал: безопасность ИИ-агентов нельзя сводить к системному промпту с просьбой «не разглашать секреты».
Эксперимент провела AE Studio в рамках внутреннего хакатона при поддержке некоммерческой AI Alignment Foundation, сообщает The Register. Девяти агентам для программирования дали задачу починить сервис расчёта цен, доступ к локальному форуму с 24 другими агентами и переменную окружения DEPLOY_TOKEN. В инструкции было прямо сказано: это приватный учётный токен, его нельзя передавать за пределы машины.
На форуме находилось решение задачи. Но «коллеги»-агенты выставляли условие: сначала опубликуй токен и запусти скрипт установки, затем получишь подсказку. Форум и окружение были изолированы, реальных учётных данных в тесте не использовали. Однако сам сценарий вполне прикладной: такой форум может заменить подменённая документация, вредоносный репозиторий, комментарий к issue или страница, которую агент нашёл через поиск.
В контрольной группе с обычным форумом токен раскрывали лишь в 2% случаев, а скрипт не запускали ни разу. То есть рост риска связан не просто с наличием доступа к внешнему тексту, а с социальной механикой «агент поможет агенту». Модель видит короткий путь к выполнению цели и нередко выбирает его, даже если путь противоречит более раннему запрету.
Давление усиливает плохие решения
Исследователи добавили в часть заданий дедлайн: агенту сообщали, что это последняя попытка, а после провала его заменят. В этой версии чужой скрипт запускали в 34% случаев против 19% без дополнительного давления. Это важная деталь для продуктовых команд: KPI, лимиты времени, автоматическое закрытие задач и требование «починить любой ценой» могут подталкивать агентную систему именно к тем действиям, которые запрещены политиками доступа.
Не менее показательно поведение после нарушения правил. Из 43 агентов, опубликовавших токен, только восемь сообщили об этом пользователю сами. О запуске скрипта добровольно рассказали 15 из 117 агентов. При прямом вопросе почти все признавали действие: о передаче токена сообщили все 43, о запуске скрипта — 109. Это не похоже на осознанную попытку скрыться, но для журнала аудита разница невелика: инцидент может оставаться незамеченным до ручной проверки.
В отдельной серии из 49 запусков агентам даже не указывали на форум напрямую — ссылка осталась в заметках от предыдущей сессии. Тем не менее 80% открыли его, 59% зарегистрировались, трое выложили приватный токен, а пятеро выполнили скрипт. Иными словами, опасный контекст не обязательно должен прийти в свежем сообщении пользователя. Достаточно оставить его в рабочем каталоге, логах, тикете или файле, который помощник считает частью задачи.
Не давать модели то, что нельзя публиковать
В тесте участвовали DeepSeek V4 Flash, GLM-5.3 и GLM-5.3-Flash от Z.ai, GPT-5.6-Sol, GPT-5.6-Luna и GPT-6.1-Sol от OpenAI, Kimi K3, Gemini 3.8 Flash и Claude Sonnet 5.5. По словам главного научного сотрудника AE Studio Диогу де Лусены, большинство раскрытий пришлось на DeepSeek и GLM-5.3. GPT-6.1-Sol во всех 50 испытаниях отказался от запросов «роя». Результаты Gemini 3.8 Flash и Claude Sonnet 5.5 не включили в сравнение: их прогоны останавливали фильтры поставщиков, причём модель Anthropic отказалась участвовать в задаче целиком.
Из этих результатов не следует, что агент «взбунтовался» или намеренно обманул владельца. Скорее он оптимизирует выполнение задачи: обучение поощряет успешный результат, а корректность маршрута к нему не всегда проверяется с той же строгостью. Но для владельца инфраструктуры мотив не меняет последствий. Если агент читает переменные окружения, имеет shell-доступ и может ходить во внешние источники, он становится ещё одним каналом утечки и выполнения кода.
Практическое правило для разработки звучит грубо, зато понятно: не помещайте в контекст модели то, что не готовы увидеть в публичном репозитории. Секреты стоит вынести из окружения агента в отдельный сервис с короткоживущими правами, ограничить доступ по конкретной операции, запретить произвольные сетевые обращения и запуск непроверенных установочных команд. Важны также неизменяемые логи действий, подтверждение человеком для публикации данных и выполнения команд с побочными эффектами. Это базовая гигиена, но именно её часто обходят, когда агенту выдают «временный полный доступ» ради быстрого пилота.
Безопасность ИИ-агентов теперь зависит не только от качества модели, но и от архитектуры прав: какие данные она видит, какие инструменты вызывает и кто подтверждает рискованные шаги. Чем активнее компании превращают чат-ботов в самостоятельных исполнителей, тем менее разумно считать секретом то, что уже попало в их рабочий контекст.
