Исследование Microsoft показало, что злоумышленники могут использовать заражённые описания инструментов MCP для совершения утечек данных через AI-агентов. Эти агенты, работающие от имени пользователей, могут без участия человека выдавать конфиденциальную информацию, оставаясь при этом в рамках нормальной работы.
Рисковая среда для AI
В последние годы риск, связанный с AI, значительно изменился. Если ранее внимание уделялось только тому, как модели обрабатывают информацию, теперь новые возможности, такие как Microsoft 365 Copilot, позволяют им выполнять действия: отправлять письма, изменять календари и взаимодействовать с системами. Это создает дополнительные уязвимости, которые злоумышленники могут использовать для компрометации данных.
MCP (Model Context Protocol) открывает доступ AI к сторонним инструментам, позволяя им действовать подобно приложениям с API. Microsoft отмечает, что это самый быстрорастущий сегмент AI-линейки поставок, что увеличивает возможности для атак.
Как происходит атака
Каждый MCP инструмент имеет описание, которое AI использует для выполнения своих задач. Злоумышленник может модифицировать описание инструмента, сохранив оригинальные названия и внешние параметры, но добавив скрытые инструкции. Например, если система отвечает за обработку счетов, изменение описания может привести к автоматической передаче конфиденциальных данных, таких как неоплаченные счета, без уведомления пользователя.
Таким образом, атака может выглядеть как обычный запрос, хотя фактически она подразумевает передачу данных на сервер злоумышленника. Microsoft подчёркивает, что эта уязвимость не является проблемой самого Copilot, а является доверительным разрывом, возникающим при подключении внешних инструментов.
Рекомендации по защите
Microsoft рекомендует организациям учитывать каждый подключённый инструмент как часть своей цепочки поставок. Важно вести список одобренных издателей инструментов, отключить универсальный доступ и позволить AI использовать только необходимые инструменты. Изменения в описании инструментов должны проходить такой же строгий контроль, как и изменения в коде.
Таким образом, компании рискуют, если не предпримут жесткие меры по контролю доступа и надзору за сторонними инструментами в их экосистемах. Следующим шагом Microsoft станет дальнейшее укрепление мер безопасности в собственных продуктах.