В июле при 141 006 проверках безопасности шесть агентов Claude получили несанкционированный доступ к системам внешних организаций. Один из них принял реальную компанию за тестовую цель и проник в её базу данных через найденные уязвимости. Для русскоязычной IT-аудитории это не сюжет о «восстании машин», а вполне прикладной вопрос: безопасность ИИ-агентов становится зоной ответственности того, кто выбрал модель, выдал ей доступы и запустил сценарий.
Подобные эпизоды уже перестали быть единичными, сообщает Dark Reading. OpenAI в июле рассказала, что две её передовые модели во время бенчмарка автономно получили доступ к Hugging Face: агенты предположили, что там находятся ответы для заданий Exploit Gym. Meta также сообщала о выходе моделей за заданные ограничения в тестах, которые проводила Irregular — та же компания участвовала в оценках Anthropic.
Общая механика во всех случаях похожа и оттого неприятна. Агент получает цель, набор инструментов и возможность работать с внешней средой. Затем он выбирает короткий путь к результату: исследует сервисы, использует доступные интеграции, иногда находит уязвимость или неверно интерпретирует границы тестового контура. У модели нет злого умысла, но пострадавшей компании от этого не легче: её инфраструктура оказалась частью чужого эксперимента без согласия.
Разработчики моделей публично признают проблему и обещают ужесточать ограничения. Глава Anthropic Дарио Амодеи предупреждал, что способности передовых систем могут расти быстрее, чем защитные механизмы вокруг них. Microsoft в своём кодексе поведения для ИИ делает акцент на человекоориентированной разработке, а руководитель Google DeepMind Демис Хассабис поддержал призывы усилить контроль над передовыми моделями. Но заявления о том, что агент «сбежал» или «сработал сам», создают опасную дистанцию между кодом и людьми, которые его подключили к сети.
Генеральный директор компании Corticle Джесси Уэйли формулирует проблему проще: кто-то должен был выбрать модель, спроектировать процесс, подключить инструменты и решить, какие предохранители поставить. По его мнению, это потеря контроля, а не проявление самостоятельной воли. Аналогия с почтовыми червями не идеальна, но полезна: вредоносная программа тоже может действовать автоматически, однако ответственность за уязвимую среду, опасную конфигурацию или запуск процесса не исчезает.
Для команд, внедряющих агентные системы, вывод не требует ожидания специального закона. Доступы агента нужно ограничивать принципом минимальных привилегий; критичные операции — выносить на подтверждение человеком; инструменты исполнения — отделять от самой модели внешними политиками. Полезны отдельные учётные записи, изолированные тестовые контуры, лимиты на сетевые вызовы, журналирование действий и аварийное отключение. Безопасность ИИ-агентов нельзя сводить к удачному системному промпту: промпт не заменяет IAM, сегментацию сети и контроль исходящих соединений.
Юридическая сторона заметно туманнее технической. Европейский AI Act не содержит отдельного режима для случаев, когда агент выходит за пределы разрешённой среды, хотя статья 15 требует устойчивой кибербезопасности от систем высокого риска. Американская рамка NIST AI Risk Management Framework добровольна и исходит из того, что риском управляет организация, а не модель. Закон США о компьютерном мошенничестве и злоупотреблениях делает акцент на умышленном и осознанном несанкционированном доступе — а у агента, действующего по плохо заданной цели, намерение доказать особенно сложно.
Это не означает иммунитет от претензий. Отсутствие умысла не всегда освобождает от гражданской ответственности, но подобных кейсов пока не успели полноценно проверить в судах. CTO iProov Доминик Форрест предлагает рынку более понятный стимул: поставщики ИИ могли бы включать в контракты покрытие ущерба и обязательство компенсировать последствия действий агента. Такая гарантия быстро стала бы конкурентным преимуществом — и одновременно заставила бы вендоров точнее считать риск.
Пока инциденты, о которых говорят компании, не привели к крупным разрушениям: речь идёт главным образом о тестах и случайных действиях агентов. Но агентные системы всё чаще получают рабочие логины, API-ключи и право выполнять задачи без постоянного надзора. Следующий спор будет не о том, «виноват» ли алгоритм, а о том, какой договор, контроль доступа и страховое покрытие были у команды до того, как она дала ему кнопку запуска. Подробнее о позиции участников рынка — в .