79% организаций уже запустили AI-агентов, которые незаметно создают инциденты в инфраструктуре, не отражаясь в учёте рисков. Это может привести к значительным сбоям в работе, как показывает практика.
Проблемы мониторинга инцидентов
Основная проблема заключается в том, что многие инциденты, вызванные действиями AI-агентов, не отслеживаются. Например, когда агент запускает корректное с точки зрения контекста действие, оно может оказаться катастрофическим из-за недостатка информации о текущем состоянии системы. Это противоречие может перерасти в серьезные проблемы для разработки и эксплуатации приложений.
По данным Gartner, ожидается, что к 2028 году 33% корпоративного ПО будет включать агентный AI, но 40% таких проектов могут быть отменены из-за слабого контроля за рисками. Россиян тоже касается этот тренд: понадобятся новые подходы к управлению и оценке рисков, чтобы избежать тяжелых последствий для бизнеса.
Как это работает на практике
Механизм сбоев достаточно прост. AI-агент может запустить перезапуск сервиса при обнаружении повреждений, действуя в рамках заданной модели. Однако он может не знать о том, что одновременно другие сервисы уже перегружены. Например, если агент перезапустит один из микросервисов в условиях высокой нагрузки на систему, это может привести к коллапсу связанного с ним сервиса.
Такой подход не учитывает зависимости, и именно поэтому многие инциденты остаются незафиксированными. Инженеры-люди, запускающие эксперименты, могут оценить риски и адаптироваться к нестандартным ситуациям, чего не делает AI-агент.
Выводы для IT-команд
Для команд разработки важно адаптировать свои системы управления рисками так, чтобы учитывать влияние AI-агентов на инфраструктуру. Без этого возможны серьезные финансовые потери и сбои в работе системы. Настало время интегрировать механизмы мониторинга и учёта рисков для AI-агентов, чтобы избежать неожиданных сбоев.
Следующий шаг — обучение ИТ-отделов новым методам управления данными, чтобы справляться с вызовами, которые несут AI-агенты. Пока такие системные изменения будут накапливаться, количество инцидентов может вырасти.