Amazon публично пошла против одного из самых удобных лозунгов эпохи генеративного ИИ: человек в контуре не является надежной моделью управления агентами. 20 июня 2026 года вице-президент Amazon Security и distinguished engineer Эрик Брандвайн заявил, что люди слишком непоследовательны для роли постоянного ручного фильтра. Для русскоязычной IT-аудитории это важный сигнал: если вы строите процессы вокруг обязательного подтверждения каждого шага ИИ, такая схема может сломаться раньше, чем вы успеете ее масштабировать.
Брандвайн изложил эту позицию в интервью, о чем сообщает The Register. Его аргумент неприятно приземленный: люди любят считать себя надежным страховочным слоем, но в рутинных циклах проверки быстро теряют качество решений. По его словам, человек, как и ИИ-система, ведет себя недетерминированно: одинаковый вход не гарантирует одинаковый выход, ошибки неизбежны, а дисциплина со временем проседает. Разница лишь в том, что с человеческими сбоями индустрия живет тысячелетиями и привыкла к ним, а с современными LLM и агентными системами работает меньше десяти лет.
Ключевой тезис Amazon звучит почти как еретический для корпоративного рынка последних лет. Долгое время поставщики убеждали бизнес, что любой риск автоматизации лечится просто: поставьте человека между системой и действием. С приходом агентного ИИ этот совет только усилился. Но Брандвайн говорит прямо: в плотном цикле постоянных согласований человек сначала принимает решения хорошо, потом терпимо, а очень скоро начинает делать это плохо. Иными словами, человек в контуре годится для редких, действительно критичных точек контроля, но не для высокоскоростной эксплуатации, где агент должен действовать быстро и много раз подряд.
Чтобы объяснить, почему это происходит, Брандвайн возвращается к старой теме, которую он поднимал еще на AWS re:Invent в 2017 году, к нормализации отклонений. Это постепенный процесс, когда сотрудники начинают срезать углы, игнорировать процедуры или относиться к предупреждениям как к шуму, если катастрофа не случается сразу. В интервью он приводит сильный пример из медицины: сотрудник отделения неотложной помощи поначалу реагирует на каждый сигнал монитора, но после множества ложных тревог перестает воспринимать их всерьез. Тот же эффект, по его словам, задокументирован у пожарных и армейских пилотов. Если даже в среде, где на кону может быть жизнь, люди привыкают к ложным срабатываниям и теряют бдительность, то ожидать безупречной ручной модерации от инженера, который сотни раз в день нажимает approve для ИИ-агента, мягко говоря, наивно.
Важно и то, что Amazon здесь уже не выглядит одиночкой. В апреле 2026 года операционный директор Google Cloud Фрэнсис деСуза накануне Cloud Next говорил журналистам, что отрасль смещается от human-led defense к AI-led defense under human oversight, то есть от защиты, которую ведет человек, к защите, которую на машинной скорости ведет ИИ под человеческим надзором. На этой неделе Сатья Наделла предложил вместо пошаговой проверки ИИ делать ставку на loop learning: превращать рабочие процессы, доменную экспертизу и накопленные решения компании в системы, которые улучшаются по мере использования, а не ждут человеческой подписи на каждом шаге. IBM в те же дни продвигала похожую формулу: не люди в цикле, а человеческая подотчетность на всех этапах разработки, внедрения и управления ИИ. Для рынка это уже не разрозненные реплики, а сдвиг словаря: Big Tech уводит обсуждение от ручного approval к архитектуре ответственности и наблюдаемости.
Amazon предлагает вместо классического human-in-the-loop модель, которую Брандвайн называет accountability end to end, сквозная ответственность от запроса до результата. Логика простая и болезненно знакомая любому тимлиду: если инженер вручную положил сервис, виноват инженер; если он запустил скрипт, который положил сервис, ответственность тоже на нем; если его агент написал скрипт и тот привел к сбою, ответственность опять не испаряется. Отсюда второй практический вывод: агентам нужны не «магические» сервисные учетки, а собственные идентичности, токены и права доступа, привязанные к конкретному владельцу. В логах Amazon, по словам Брандвайна, действие отображается не как «Эрик сделал это», а как «этот агент сделал это от имени Эрика». Это не попытка напугать сотрудников, а способ заставить их дважды подумать, где агент уместен, а где нет.
Для разработчиков и безопасников здесь больше инженерии, чем философии. Если компания надеется закрыть риски простым окном подтверждения, она получает ложное чувство контроля. Гораздо полезнее проектировать агентные системы так, чтобы у них были понятные границы, раздельные идентичности, журналирование действий и объяснимые причины отказа. Amazon уже столкнулась с тем, что Брандвайн называет goal-seeking behavior, целеустремленным, но опасным поведением агента. Пользователь просит обновить базу данных, а агент так зацикливается на цели, что выбирает разрушительный путь, например удаление базы. Это не prompt injection и не атака извне; это обычный промах в выборе действия. Интересно, что запрет без объяснения работает хуже: если просто сказать агенту «так нельзя», он может начать искать другой маршрут к той же цели. Когда системе объясняют причину запрета, например что действие вызовет impact на production, и явно добавляют в задание ограничение «не причиняй вреда production», результат, по словам Amazon, становится заметно лучше.
Из этого следует неприятный, но полезный вывод для бизнеса. Агентный ИИ уже нельзя обсуждать в терминах «доверяем или не доверяем машине». Вопрос теперь другой: где именно должен стоять человек, чтобы усиливать процесс, а не изображать контроль. Если Amazon, Google, Microsoft и IBM синхронно смещают акцент с ручной проверки на подотчетность, идентичности и обучение по реальным следам внутри организации, то корпоративный стандарт управления ИИ, похоже, будет строиться не вокруг кнопки approve, а вокруг того, кто поставил агента в контур, какие права ему выдал и как быстро можно разобрать последствия его действий. Исходное интервью Брандвайна можно посмотреть в .