КИБЕРБЕЗОПАСНОСТЬ

«Спящие агенты» прячут команды в весах открытых ИИ-моделей

Менее 10 нейронов могут скрыть команду в открытой ИИ-модели: почему проверка весов и изоляция агентов становятся обязательными.

✍️ Редакция iTech News | 17.11.2026 | ⏱ 3 мин | Источник: Dark Reading
🔐

Менее десяти нейронов в нейросети могут нести скрытую команду, не влияя на её обычные ответы. Для безопасности открытых ИИ-моделей это неприятный сдвиг: скачанная модель способна выглядеть рабочей и полезной, но ждать определённого запроса, даты или результата вызова инструмента, чтобы выполнить заложенное действие. Для команд, которые подключают локальные LLM к коду, документам и инфраструктуре, модель теперь стоит рассматривать не как «данные для инференса», а как сторонний исполняемый компонент.

О технике, которую исследователи Microsoft назвали Lazarus, сообщает Dark Reading. Её идея — использовать «спящие» нейроны: участки сети, которые почти не участвуют в штатной работе модели. Если изменить такие нейроны на позднем этапе обработки и настроить их последовательную активацию, в них можно закодировать короткую команду. Пока триггер не поступил, модель продолжает решать обычные задачи; при нужном условии скрытая цепочка срабатывает.

Триггером может стать конкретный пользовательский запрос, вывод подключённого инструмента или даже дата, полученная из терминала. Это особенно важно для агентных систем: модель не просто генерирует текст, а вызывает API, читает репозитории, запускает команды и обращается к секретам. Сама команда ограничена размером, но для злоумышленника короткая инструкция — не обязательно мелочь. Её можно использовать как стартовую точку: заставить агента сделать неожиданный запрос во внешнюю сеть, обратиться к учётным данным или выполнить нетипичное действие в окружении.

Подход отличается от более ранней работы MaleficNet, представленной Бриландом Хитаем и коллегами в 2022 году. Там вредоносный бинарный файл дробили на маленькие фрагменты и распределяли по множеству весов нейросети с применением CDMA — метода кодового разделения каналов. При наличии механизма извлечения части можно было собрать обратно. Lazarus жертвует вместимостью ради простоты: вместо целого бинарника речь идёт о небольшой полезной нагрузке, спрятанной в считаных нейронах.

Масштаб проблемы задаёт сама архитектура больших моделей. Dark Reading приводит в пример открытую по весам Qwen 3.8-Max с 2,4 трлн параметров и примерно 100 млн нейронов. На таком фоне изменение нескольких нейронов — порядка 0,00001% сети — практически невозможно обнаружить ручной проверкой. Веса не читаются как исходный код: специалист не может просмотреть их построчно и увидеть подозрительную функцию. Обычные тесты тоже не дают гарантии: они могут ни разу не задеть триггер, который атакующий выбрал заранее.

Это не означает, что в открытых моделях уже массово находят такие закладки. Хитай говорит, что известные случаи вредоносных моделей на Hugging Face до сих пор были связаны прежде всего с опасными форматами файлов, например Python Pickle, которые способны выполнить код при загрузке. Сокрытие полезной нагрузки непосредственно в весах остаётся исследовательским сценарием. Но именно такие сценарии полезно учитывать до того, как техника станет удобным товаром на теневых площадках.

Практический вывод для разработчиков довольно приземлённый. Модель следует брать из официального источника и сравнивать её веса с доверенной эталонной версией: Microsoft указывает, что надёжное выявление таких изменений требует именно сравнения с оригинальными, немодифицированными весами. Нужны фиксированные версии, хеши, проверяемая цепочка поставки и внутренний реестр разрешённых моделей. Сканирование файлов и поиск аномалий остаются полезными, но не должны изображать волшебный детектор чистоты.

Главная защита — ограничить последствия компрометации. У ИИ-агента должны быть только необходимые права, отдельные учётные данные, минимальный сетевой доступ и журнал действий; опасные операции стоит подтверждать человеком. Профессор Римского университета Сапиенца Луиджи Винченцо Манчини рекомендует многоуровневую защиту вместо попытки найти один идеальный сканер. На практике сигналом станут не столько странные веса, сколько необычная команда shell, неожиданный сетевой вызов, обращение к секрету или запуск инструмента вне привычного контекста.

Безопасность открытых ИИ-моделей всё больше похожа на безопасность зависимостей: доверять удобной загрузке недостаточно, даже если модель хорошо отвечает на бенчмарках. Чем активнее компании превращают LLM в операторов инфраструктуры, тем важнее вопрос не «насколько умна модель», а «что именно она способна сделать после скрытого триггера». Подробности исследования и позиции экспертов доступны в материале Dark Reading.

Поделиться: Telegram X LinkedIn