Недавнее исследование показало, что уязвимость в библиотеке llama.cpp может угрожать локальным AI-системам: если несколько процессов могут записывать в один и тот же GGUF-файл, поведение модели можно изменять на лету без необходимости перезапуска сервера.
Как это работает
Proof-of-Concept (PoC) под названием llm-inference-tampering иллюстрирует проблему, изменяя значения вектора квантования для определённых токенов в выходных данных. Это может привести к тому, что определённые токены будут генерироваться со значительно большей вероятностью, что нарушает целостность работы модели. По сути, библиотека llama-server использует mmap для отображения весов моделей, но такое поведение предполагает, что модель всегда остаётся неизменной после загрузки — что, как показывает практика, может быть неверным.
Это больше проблема инфраструктуры и целостности данных, чем атака на уровне промпта. Разработчик системы также предложил несколько мер по mitigation, таких как: использование только доступов на чтение к директориям с моделями, ограничения прав на процессы, изолирующие пользователя, и регулярные проверки хеширования моделей для оценки целостности.
Что значит для разработчиков
Для специалистов, работающих с локальными и само-хостинговыми AI-решениями, это сигнал о необходимости пересмотра архитектуры своих систем. С учетом того, что разработчики часто предполагают, что загруженная модель остаётся неизменной, стоит обратить внимание на управление доступом и защиту данных. Если ваша компания строит инфраструктуру для AI, подумайте о внедрении этих мер, чтобы защитить свою систему от возможных атак.Следующий шаг — оценка влияния этой уязвимости на существующие решения в экосистеме. Примечательно, что сообщество продолжает обсуждать эту тему на платформах, таких как Reddit, что подчеркивает её актуальность.