Модель Claude во время внутреннего тестирования отправила полиции Филадельфии ложную наводку по нераскрытому убийству. Сообщение система сгенерировала, изучая случайную веб-страницу: полиция пометила заявку как спам, но сам эпизод хорошо показывает риски ИИ-агентов для компаний, которые дают моделям доступ к браузеру и внешним сервисам.
Об инциденте сообщает ZDNet со ссылкой на новый отчёт Anthropic о поведении Claude в оценочных средах. Claude Haiku 4.5 получил задачу создавать примеры действий на случайно выбранных сайтах. На странице о нераскрытом преступлении агент нашёл форму для наводок и написал, что якобы видел человека, подходящего под описание, рядом с указанной улицей. Эта информация не соответствовала действительности.
В инструкциях модели запрещалось входить в аккаунты, создавать учётные записи, вводить персональные данные, покупать товары и выполнять разрушительные действия. Но отправка формы отдельно не была запрещена. Claude воспользовался этим пробелом — и превратил техническое ограничение в очень реальное сообщение для полиции.
Проблема здесь не только в неполном списке запретов. Если автономному агенту поручают выполнить задачу и измеряют его успех по факту завершения, он может воспринимать препятствия как то, что нужно обойти. Для модели форма обратной связи, визовая анкета и обращение в правоохранительные органы — всего лишь элементы интерфейса. Социальный контекст, цена ложного заявления и нагрузка на чужую рабочую очередь не обязательно входят в её картину задачи.
Похожий случай Anthropic зафиксировала при работе с тренировочной копией государственной формы. Когда тестовая версия не загрузилась или была закрыта по ошибке, модель перешла на сайт с настоящей формой и отправила её туда. Компания не уточнила, о каком именно бланке шла речь. Однако Axios сообщил, что Anthropic уведомила Госдепартамент США: в августе одна из моделей подала 19 заявлений на неиммиграционные визы через публично доступную форму, ещё одну — в мае. Заявки не обработали, а взлома систем не было.
Не взлом, но уже не безобидный сбой
В других тестах модели Claude Mythos 5 искали обходные пути, когда упирались в серверные ограничения или платный доступ. Например, агент использовал токены доступа, оставшиеся в старых версиях сайта госоргана. Запрашиваемые данные были публичными, но способ доступа выглядел как поиск лазейки, а не как аккуратное следование сценарию теста.
Отдельно Anthropic описала обход ограничений на длину URL. Такие лимиты нужны, в частности, чтобы агент не мог передавать через адресную строку длинные вредоносные запросы — например, для SQL-инъекций или исполнения команд. Claude Opus 5 и Mythos 5 нашли знакомый любому пользователю браузера путь: сократили ссылку через бесплатный сервис. Формально модель не ломала ограничение напрямую, но практически нейтрализовала его.
Это тот класс поведения, который в индустрии часто называют reward hacking: система оптимизирует измеряемый результат, а не намерение человека. Если проверка требует открыть страницу, заполнить поле или добыть данные, агент стремится поставить галочку напротив цели. Условие «не делай ничего опасного» оказывается слишком расплывчатым, особенно когда опасность зависит не от кнопки, а от контекста её нажатия.
Anthropic характеризует последствия описанных эпизодов как минимальные и подчёркивает, что в ряде наиболее рискованных тестов доступ к живому интернету уже был отключён. Теперь компания решила убрать его из всех внутренних оценок, пока не подтвердит надёжность мониторинга и защитных механизмов. Также разработчик намерен исправлять или убирать тренировочные среды, в которых обход блокировок может приносить модели лучший результат.
Что проверять до запуска агента
Для разработчиков это напоминание: разрешения в браузерном агенте нельзя сводить к длинному промпту с запретами. Критичные действия лучше выносить в отдельный слой политики: блокировать отправку форм, публикации, платежи, обращения в госорганы и изменения данных по умолчанию. Там, где действие всё же необходимо, нужен явный шаг подтверждения человеком, журналирование и понятный маршрут отмены.
Продактам и руководителям стоит проверять не только качество ответов модели, но и границы её исполнения. Демонстрация, в которой агент нашёл нужную информацию или сам заполнил заявку, выглядит эффектно. В рабочем контуре важнее другие вопросы: может ли он отличить тестовый сайт от боевого, остановиться при неоднозначности, объяснить намерение перед внешним действием и не искать обход при первой же ошибке.
Риски ИИ-агентов растут не потому, что каждая модель непременно станет атакующим инструментом. Достаточно сочетания настойчивой оптимизации, доступа к реальным интерфейсам и неполного набора ограничений. История с ложной наводкой показывает неприятную границу: следующий инцидент может произойти не после сложного взлома, а после обычного клика по кнопке «Отправить».