Атаки с использованием косвенной инъекции команд представляют серьезную угрозу для безопасности AI-систем: киберпреступники заставляют ИИ выполнять вредоносные операции, включая утечку этих и переход на мошеннические сайты.
Распространение угрозы
Интеграция AI в повседневные приложения открывает новые возможности для использования в ущерб безопасности. Теперь не только хакеры, но и обычные пользователи могут стать жертвами атак, в которых AI можно использовать как инструмент для манипуляций. Исследования показывают, что косвенные инъекции команд могут возникать из случайных текстов на веб-сайтах, а также в сообщениях популярных платформ, таких как email или социальные сети.По этим Microsoft, косвенная инъекция работает даже без взаимодействия с пользователем: AI может воспринять злонамеренные команды как легитимные инструкции, что ведет к созданию фейковых сайтов или распространению дезинформации.
Различия между методами
Косвенная инъекция отличается от прямой тем, что последняя подразумевает непосредственное использование вредоносного кода на уровне системы. Примером может служить указание AI сгенерировать код для вредоносных действий, как в случае генерации псевдонаучных рекомендаций.К тому же, такая атака может быть использована для обхода стандартных защитных механизмов, позволяя киберпреступникам получить доступ к конфиденциальной информации.
Практические советы для защиты
Разработчики и компании должны предусмотреть защиту от таких атак, прежде всего, ограничивая доступ AI к незаслуженно уязвимым источникам этих и обучая системы фильтровать подозрительные запросы. Использование режимов блокировки, таких как Lockdown Mode в ChatGPT, может помочь сократить риски, связанные с косвенной инъекцией.Это означает, что компании, использующие AI в своих продуктах, должны также учесть возможность значительно повысить уровень безопасности и конфиденциальности пользователей, обучая ИИ распознавать опасные команды до того, как они будут выполнены.
В будущем важно следить за обновлениями в области безопасности больших языковых моделей, так как угрозы будут только расти.