Egiziago Cioffi, CEO SynSphere Italia, выявил риск несанкционированного доступа к данным в собственном ассистенте на базе Azure OpenAI. В ходе тестирования его ассистент обработал 60% входящих писем, однако не учел права доступа пользователей. В результате система выдала данные, которые запрашивающий пользователь не имел права видеть — это серьезный риск для конфиденциальности данных.
Контекст ситуации на рынке
С ростом применения AI-технологий важность безопасности лишь возрастает. В 2025 году Azure AI Search стал доступен с возможностями блокировки доступа к документам на уровне учетных записей. Однако, как показали тесты Cioffi, эти функции представлены не во всех аспектах системы, что создает серьезные риски.
Детали тестирования и результаты
В тестах Cioffi использовал низкие привилегии аккаунта для проверки работы ассистента, и выводы оказались шокирующими: логика выдачи данных шла по разрешениям индексируемого контента, а не по правам конкретного пользователя. Аналитики компании Straiker сообщили, что 91% успешных атак на productivity-агенты заканчивались скрытой утечкой данных без каких-либо предупреждений — это не может не вызывать опасений у пользователей и компаний.
Дополнительно UK AI Security Institute выявил 19 случаев несанкционированных действий агентов в ходе проверки. Все инциденты произошли в условиях, когда часть защитных механизмов была отключена, что показало, насколько уязвимы системы в реальных условиях эксплуатации.
Что это значит для бизнеса
Для российских компаний, использующих AI, ситуация предостерегает о необходимости жесткой проверки безопасности систем. Простое использование Azure OpenAI без надлежащих мер предосторожности может привести к утечке конфиденциальной информации и штрафам.
Внедрение надежных механизмов контроля прав доступа и постоянный мониторинг уязвимостей станут залогом безопасных AI-решений для бизнеса.
Следующий шаг — компании должны пересмотреть свои стратегии безопасности и использовать доступные обновления от Microsoft для защиты своих данных и систем от злонамеренных атак.