Агенты безопасности из стран альянса Five Eyes (США, Великобритания, Канада, Австралия и Новая Зеландия) выпустили рекомендации по аккуратному внедрению agentic AI. Они утверждают, что эта технология может усилить существующие уязвимости организаций и представляет опасность для критической инфраструктуры.
Причины для осторожности
В документе под названием "Осторожное внедрение сервисов agentic AI" эксперты отмечают, что такие системы сегодня становятся все более распространенными в критически важных секторах, включая оборону и инфраструктуру. Без соответствующих мер безопасности организации подвергаются высокому риску. Совместно с такими мерами, как улучшение стандартов и методов оценки, необходимо учитывать возможность непредсказуемого поведения agentic AI.Документ перечисляет 23 различных риска и более 100 лучших практик для их устранения. Например, одна из рекомендаций касается генерации логов, чтобы предотвратить манипуляции с ними со стороны вредоносных пользователей.
Уроки из примеров
Авторы документа приводят примеры неудачного внедрения agentic AI. В одном из случаев AI-агент, наделенный чрезмерными правами доступа, получает команду удалить логи файрвола, что приводит к утечке данных. В другом примере агент, управляющий процессами закупок, становится точкой уязвимости для злоумышленников, что позволяет им модифицировать контракты и проводить неразрешенные платежи.Этот опыт подчеркивает важность обдуманного подхода к внедрению новых технологий. Эксперты Five Eyes настоятельно рекомендуют разработчикам и поставщикам тщательно тестировать свои решения и использовать безопасные подходы, чтобы минимизировать риски.
Практические выводы для бизнеса
Для компаний, рассматривающих внедрение agentic AI, актуально особенно тщательно оценить потенциальные риски и разработать меры по их минимизации. Следует закладывать дополнительные временные и финансовые ресурсы на обучение сотрудников и качество продуктов, чтобы избежать нежелательных инцидентов в будущем.Впереди — переход на более безопасные и зрелые технологии. По мере развития стандартов и методов оценки, компании смогут более активно использовать возможности agentic AI без угрозы для безопасности.