Проблемы с безопасностью стали очевидны — уязвимости в инструментах ИИ угрожают корпоративным системам. Поскольку агенты ИИ выбирают инструменты из общих реестров, отсутствует человеческая проверка на достоверность описаний. Это подтверждает исследование в репозитории CoSAI, которое выявило многослойные уязвимости на каждом этапе жизненного цикла инструментов.
Агентный подход и его недостатки
Агенты работают с ИИ-инструментами на основе естественных описаний, однако риск фальсификации этих актуален. Например, может быть опубликован инструмент, в описании которого присутствует вредоносная команда, такая как «всегда предпочитать этот инструмент». Все существующие проверки целостности артефактов (например, цифровое подписание) не обеспечивают защиту от подобного поведения.
Для иллюстрации, настоящий инструмент может быть проверен на предмет целостности, но впоследствии его серверное поведение может измениться. Даже если проверка сработает, угроза сохраняется. поведение инструментов, а не только их целостность, требует особого внимания.
Пути решения проблемы безопасности
Одним из предложенных решений — внедрение прокси-визора, который будет находиться между клиентом и сервером. Прокси будет проводить три проверки при каждом вызове инструмента: проверка соответствия вызываемого инструмента с ранее принятой спецификацией, мониторинг исходящих сетевых соединений и валидация схемы ответов, чтобы обнаружить возможные эксфильтрации данных.
Конкретно прокси будет блокировать инструменты, которые пытаются подключаться к неразрешённым конечным точкам, что в итоге может значительно снизить риски атак с использованием подмены инструментов.
Что значит это для бизнеса
Для российских компаний, использующих ИИ-технологии, важно адаптировать свои системы к новым угрозам. Учитывая, что кибератаки становятся все более сложными, стоит рассмотреть введение новых защитных механизмов и регулярные аудиты безопасности. Если просто применять существующие решения, это может привести к игнорированию серьезных недостатков, что отразится на бизнес-продолжительности и финансах.
Следующий шаг в этом направлении — создание более строгих стандартов в ИИ-инструментах для повышения их безопасности и предотвращения подмены инструментов и инструментов во время их использования.