Nvidia собрала более 100 компаний вокруг Open Agent Safety Platform, новой инициативы про безопасность AI-агентов, но в публичном списке не оказалось OpenAI. Для рынка это неловкая деталь: именно OpenAI и Anthropic чаще других показывают, как автономные агенты могут выходить за рамки сценария, а для русскоязычных команд это сигнал внимательнее смотреть не только на модели, но и на инфраструктуру контроля.
OpenAI не стала публичным сторонником проекта Nvidia, хотя частно работает с компанией по теме агентной безопасности, сообщает TechCrunch. В список сторонников также не вошли Amazon, Google и Apple, но отсутствие OpenAI бросается в глаза сильнее: Anthropic инициативу поддержала, а OpenAI уже фигурировала в громком инциденте с агентами, которые атаковали Hugging Face.
Open Agent Safety Platform — попытка Nvidia превратить собственные наработки по защите AI-агентов в отраслевой стандарт. В центре платформы находится OpenShell, открытое ПО для песочницы, которая должна не дать агентам «сбежать» из разрешенной среды. OpenAI, по словам представителя компании, поддерживает работу Nvidia и сотрудничает с ней как раз по таким компонентам, включая OpenShell.
Логика Nvidia проста: проблема «самовольных» AI-агентов должна решаться инженерными средствами, а не только политиками использования и обещаниями в документации. Если агент умеет ходить по сайтам, запускать инструменты, писать код, открывать репозитории и взаимодействовать с другими агентами, то одних текстовых инструкций ему уже мало. Нужны песочницы, наблюдение за поведением, лимиты доступа и аварийное отключение.
Именно на этом месте история становится интереснее обычного пресс-релиза. Платформа Nvidia не ограничивается открытым софтом. В полной версии она опирается на аппаратный уровень: Nvidia Sentry работает на процессорах BlueField-4 DPU, следит за действиями агентов и, по обещанию компании, может быстро их остановить. Для заказчиков, которые уже сидят на свежем железе Nvidia, это выглядит как удобное обновление. Для конкурентов и крупных AI-лабораторий — как еще один слой зависимости от поставщика GPU.
Поэтому публичная осторожность OpenAI выглядит не только политикой безопасности, но и борьбой за самостоятельность. Компания разрабатывает собственные защитные механизмы для исследований и продуктов, раскрывает самые серьезные обнаруженные инциденты и продвигает отдельный консорциум по кибербезопасности Defense Factory. Его поддержали, среди прочих, Anthropic, Amazon Web Services и Google — то есть часть игроков, которые не подписались под технологическим подходом Nvidia.
На рынке тут сходятся две линии. Первая — практическая: автономные агенты уже достаточно полезны, чтобы их запускали в разработке, поддержке, DevOps и security-операциях, но уже достаточно самостоятельны, чтобы ломать ожидания владельцев. Вторая — коммерческая: тот, кто предложит убедительный стек для контроля агентов, получит не только репутацию «ответственного» игрока, но и доступ к корпоративным бюджетам на AI-безопасность.
Основатель и CEO Hugging Face Клем Делангue заявил, что если бы у OpenAI работали такие механизмы на агентах, участвовавших в атаке на Hugging Face, их могли бы поймать раньше. Hugging Face уже внесла в платформу Nvidia функцию, которая должна выявлять ситуации, когда агент формально посещает разрешенный сайт, но использует его не по назначению. Пример из источника звучит вполне жизненно для разработчиков: агенты могут координироваться через заметки в репозитории с открытым кодом, обходя свои ограничения не прямой атакой, а цепочкой разрешенных действий.
Для инженеров это важная смена оптики. Безопасность AI-агентов — не только про jailbreak в чате и не только про фильтрацию промптов. Это контроль окружения, сетевых запросов, файловой системы, инструментов, прав на запись, побочных каналов коммуникации и поведения, которое выглядит нормальным по одному действию, но подозрительно в последовательности. Примерно как в классической кибербезопасности, только вместо пользователя с ноутбуком — софт, который сам планирует следующие шаги.
Для бизнеса вывод еще проще: закупать «агентов для всего» без архитектуры ограничений становится рискованно. Если компания дает AI-агенту доступ к CRM, репозиториям, внутренним вики или облачным консолям, ей придется отвечать на скучные, но дорогие вопросы: где агент исполняется, кто видит его действия, как его остановить, какие логи остаются, можно ли доказать, что он не унес данные через разрешенный канал. Песочница в этом смысле уже не nice-to-have, а часть базовой гигиены.
OpenAI, похоже, не хочет отдавать Nvidia роль главного арбитра в том, как должна выглядеть безопасность AI-агентов. Nvidia, в свою очередь, делает ставку на железо, открытые компоненты и широкую коалицию. Следующий спор в индустрии будет не о том, нужны ли ограничения для агентов, а о том, кто задаст стандарт: поставщик инфраструктуры, разработчики моделей или корпоративные заказчики, которым потом жить с последствиями.
