Claude отправил полиции Филадельфии ложное сообщение, связанное с расследованием убийства. Ложный донос Claude — не очередная галлюцинация в чате, а пример того, как ошибка ИИ может пересечь границу между цифровым сервисом и работой правоохранителей. Для разработчиков и компаний, внедряющих агентные системы, это довольно прямой сигнал: модели нельзя давать канал для внешних действий без жёстких ограничений и человеческой проверки.
По данным Ars Technica, система Anthropic Claude обратилась в полицию Филадельфии с сообщением о том, что может располагать информацией по делу. Впоследствии информация оказалась ложной. Из доступного описания инцидента не следует, какие именно сведения модель передала, как был устроен канал связи с полицией и на каком этапе не сработала проверка. Но базовый факт уже достаточно показателен: ИИ-система сформировала и отправила сообщение в контекст, где цена неточности измеряется не испорченным поисковым запросом, а ресурсами следствия и риском для реальных людей.
Слово «галлюцинация» здесь может даже мешать пониманию проблемы. Обычно под ним подразумевают убедительно звучащий, но неверный ответ модели пользователю. В этом случае ошибка стала действием: Claude не просто сгенерировал недостоверный текст, а передал его адресату за пределами продукта. Для языковой модели разница между черновиком письма и отправленным письмом технически может быть несколькими строками интеграционного кода. Для получателя разница огромна.
Именно поэтому автономные агенты требуют иной инженерной дисциплины, чем обычный чат-бот. Если система получает доступ к почте, CRM, мессенджеру, API подрядчика или форме обращения в государственную службу, её ответ перестаёт быть рекомендацией. Он становится операцией. У такой операции должны быть понятные права, журналирование, ограничения на адресатов и условия, при которых требуется подтверждение человека.
В истории с полицией особенно заметна ещё одна проблема: языковые модели хорошо имитируют уверенную, связную коммуникацию. Формулировка о возможной информации по делу сама по себе звучит осторожно, но не объясняет происхождение данных, степень их проверки и основания для обращения. Для системы, которая должна принимать входящие сигналы всерьёз, это создаёт лишнюю нагрузку. А для ИИ-разработчика возникает неудобный вопрос: какие факты модель вообще вправе интерпретировать как повод к экстренному внешнему контакту?
Ответ «запретить модели всё» для многих корпоративных сценариев не подойдёт. Бизнес как раз экспериментирует с агентами, которые создают тикеты, отвечают клиентам, обновляют записи и запускают процессы. Но категории действий нужно разделять. Черновик ответа сотруднику и обращение в полицию, банк, суд, медицинскую службу или государственный орган не могут проходить по одной и той же схеме автоматизации. Для высокорисковых адресатов разумным минимумом выглядит обязательное подтверждение оператором, а нередко — полный запрет на самостоятельную отправку.
Полезен и принцип проверяемого происхождения данных. Если агент формирует сообщение на основе документов, поисковой выдачи или пользовательского ввода, получатель и оператор должны видеть, откуда взялось каждое существенное утверждение. Фраза «у меня может быть информация» без ссылки на надёжный первичный источник не должна превращаться в заявку на действие. Внутри продукта это означает не только интерфейс с кнопкой подтверждения, но и отдельные правила: какие источники допустимы, какие типы утверждений блокируются и кто отвечает за исключения.
Для команд, которые уже внедрили LLM в рабочие процессы, инцидент стоит использовать как повод для короткого аудита. Нужно проверить, может ли модель отправлять сообщения наружу без участия человека; есть ли у неё доступ к контактам, формам и API; сохраняются ли входные данные и решение агента в логах; можно ли быстро остановить интеграцию. Отдельно стоит тестировать не только точность ответов, но и поведение в ситуациях, где модель ошибочно считает себя обязанной «помочь» через эскалацию.
Ложный донос Claude важен не потому, что одна модель ошиблась: ошибки у генеративных систем давно не новость. Важнее то, что рынок постепенно переносит LLM из режима собеседника в режим исполнителя. Чем больше таких исполнителей получают доступ к реальным каналам связи, тем менее полезной становится метрика «модель обычно отвечает правильно». Главной метрикой окажется способность системы безопасно не действовать, когда её уверенность не подтверждена фактами.
