Гендиректор Microsoft Сатья Наделла 10 октября предложил считать аварийный тормоз ИИ обязательной частью архитектуры продвинутых моделей: уполномоченный человек должен иметь возможность остановить систему прямо во время выполнения задачи. Для разработчиков и компаний, внедряющих агентов в процессы, это сигнал: разговор о безопасности смещается от общих принципов к журналам действий, изоляции и правам на принудительное отключение.
В субботнем посте в X Наделла призвал пересмотреть «архитектуру доверия» вокруг ИИ, сообщает TechCrunch. Его тезис прост: нельзя относиться к сверхинтеллектуальным системам как к набору непрозрачных компонентов и лишь принимать либо отклонять их ответы и действия уже постфактум. Контроль должен быть встроен в сам процесс работы модели, а не появляться в виде тревожной кнопки после инцидента.
Наделла предлагает разделить собственно модель и контур, который организует её работу. Иными словами, языковая модель не должна одновременно решать задачу, выбирать инструменты, получать доступ к данным и определять границы собственной активности без внешней проверки. Контролирующий слой должен существовать отдельно от модели и управлять тем, какие действия ей разрешены, какие требуют подтверждения, а какие необходимо блокировать.
В этом подходе есть ещё два условия. Во-первых, каждое существенное действие модели должно оставлять защищённое от подмены, понятное человеку доказательство: что именно было сделано, с какими входными данными и по какому разрешению. Во-вторых, систему нужно изначально проектировать так, будто модель уже скомпрометирована, — ограничивать её возможности, доступы и последствия ошибок. Именно эту логику Наделла сравнил с аварийным тормозом.
Для инженерных команд это не призыв срочно прикрутить к чат-боту кнопку «стоп». Речь о более неприятной, но полезной работе: разделить полномочия между моделью и оркестратором, вести аудит вызовов инструментов, ограничить токены и учётные записи, предусмотреть ручное подтверждение рискованных операций. Если агент умеет читать корпоративную почту, создавать заявки, менять записи в CRM или запускать код, то вопрос о том, кто и как прерывает его цепочку действий, перестаёт быть теоретическим.
Важна и формулировка про доказательства, читаемые человеком. Логи сами по себе редко помогают разобраться в инциденте: они могут быть неполными, слишком техническими или не показывать, почему система получила право на конкретное действие. Наделла говорит о следе, который позволит сотруднику безопасности, владельцу процесса или аудитору восстановить ход работы модели без попыток угадать её намерения по обрывкам телеметрии.
Заявление Microsoft прозвучало на фоне растущего числа публичных обсуждений ситуаций, когда разработчики ИИ-систем признавали проблемы с контролем поведения моделей. TechCrunch также связывает позицию Наделлы с опубликованным ранее планом более осторожного развития ИИ от главы Anthropic Дарио Амодеи. Общий тренд здесь заметен: крупнейшие игроки всё чаще обсуждают не только качество ответов и скорость агентов, но и механизм ограничения ущерба, когда ответ превращается в действие.
Для российского рынка эта дискуссия особенно прикладная. Компании часто начинают с пилота в закрытом контуре, а затем постепенно дают ассистенту доступ к базе знаний, внутренним сервисам и автоматизации. На каждом таком шаге аварийный тормоз ИИ должен означать конкретные процессы: кто имеет право остановки, какие операции уже нельзя отменить, где хранится журнал, как проверяется целостность записей и что происходит с незавершённой задачей после остановки. Без этого автономность быстро становится красивым названием для неконтролируемого доступа.
Позиция Наделлы не отвечает на главный практический вопрос: смогут ли поставщики моделей и корпоративные заказчики договориться о единых проверяемых правилах до того, как агенты станут выполнять критичные операции. Но критерий зрелости таких систем постепенно проясняется: ценность будет определяться не только тем, что модель умеет делать, а ещё и тем, насколько предсказуемо её можно ограничить, проверить и остановить. Исходные формулировки главы Microsoft можно сверить в публикации .