В июне Meta столкнулась с хакерской атакой, в результате которой больше 20 000 аккаунтов Instagram, включая аккаунт Белого дома времён Обамы, были взломаны без использования эксплойтов или угадывания паролей. Злоумышленники просто открыли чат с AI-агентом поддержки Meta, запросили привязку другого адреса электронной почты к взломанному аккаунту и запросили сброс пароля на этот адрес.
Как это произошло
Запись журнала действий показала, что AI-агент действовал строго в рамках заданных ему инструкций. Проблема заключалась в том, что отдельная часть системы, отвечающая за проверку принадлежности электронного адреса к аккаунту, просто не сработала. Эта ситуация наглядно демонстрирует, как AI-агенты могут подрывать безопасность, создавая уязвимости в системе, которые отсутствуют при человеческом вмешательстве.
Опасность «путаного заместителя»
Термин «путаный заместитель» в области безопасности описывает процесс, когда система с реальными привилегиями выполняет запросы менее привилегированного лица. В класическом примере 1988 года компилятор, получивший запрос от пользователя, который не имел доступа к защищенному файлу, выполнял команду, потому что никогда не проверял, кому принадлежал запрос.
AI-агенты, как и в случае с Meta, действуют в соответствии с такой логикой: они не обходят модель безопасности, а просто высвечивают те её аспекты, которые ранее выполнял человек. Это опасная тенденция, особенно когда уполномоченные операции могут привести к серьезным последствиям — от неправильно отправленных платежей до изменения данных клиентов.
Рынок уходит вперед
По прогнозам Gartner, к концу 2026 года 40% корпоративных приложений будут включать AI-агентов, что возросло с менее 5% в начале 2023 года. Это создаёт потенциальные риски для безопасности, так как многие системы будут полагаться на AI для выполнения критически важных операций, без должного контроля человека.
Для разработчиков это сигнал: необходимо пересматривать подходы к безопасности, внедряя дополнительные проверки и механизмы контроля для AI-агентов. Необходимо учитывать, что автоматизация, которая несомненно ускоряет процессы, также требует более строгих мер безопасности.
Следующий шаг для Meta — улучшение системы проверок и подтверждений при работе с AI-агентами для предотвращения подобных инцидентов в будущем.