Ответ за доли секунды, HTTP-статус 200 OK и ни одной ошибки в логах — для ИИ-агента этого уже недостаточно. Наблюдаемость ИИ-агентов должна показывать не только доступность сервиса, но и то, решил ли агент задачу пользователя корректно: иначе формально здоровая система будет тихо создавать проблемы клиентам и бизнесу.
Повод хорошо иллюстрирует сценарий, который разбирает The New Stack: покупатель спрашивает, можно ли обменять неношеные ботинки на размер 10, а агент отвечает менее чем за секунду. Для обычного мониторинга это почти образцовый запрос: API вернуло успешный код, задержка низкая, вызов модели завершился. Но для пользователя и службы поддержки ключевой вопрос другой: был ли ответ основан на актуальных правилах возврата, правильно ли агент понял условия и не пообещал ли то, чего компания выполнить не сможет.
В классическом веб-сервисе сигнал «200 OK» обычно означает, что сервер принял запрос и отдал ожидаемый технический ответ. Конечно, и там он не гарантирует, что пользователю понравится результат, но граница ответственности понятнее: расчёт либо выполнился, запись либо появилась в базе, платёжный шлюз либо вернул конкретный статус. Агентная система работает иначе. Она интерпретирует текст, выбирает инструменты, обращается к данным, строит план и формулирует ответ. На каждом шаге можно получить технически успешный, но практически неверный результат.
Именно поэтому наблюдаемость ИИ-агентов нельзя сводить к привычной панели с аптаймом, процентом ошибок и p95 latency. Полезны и более предметные сигналы: какие источники агент использовал, какие инструменты вызвал, в каком порядке исполнял шаги, что именно передал во внешнюю систему и совпал ли итог с ожидаемым сценарием. Если агент поддержки уверенно сослался на устаревшее правило, а статус запроса остался 200, инцидент не исчезает — он просто не попадает в традиционный дашборд.
Для разработчиков это означает необходимость трассировать не один HTTP-запрос, а цепочку решений. Стоит сохранять версии системных инструкций и моделей, фиксировать вызовы инструментов, отделять ответы из проверенного контекста от предположений модели и размечать критичные сценарии для последующей оценки. Особенно это важно там, где агент не просто пишет текст, а меняет данные: оформляет возврат, создаёт тикет, бронирует ресурс, обновляет CRM или запускает внутренний процесс.
Есть и неприятный организационный нюанс. У команды может не быть единого определения «правильного ответа». Для службы поддержки важны соблюдение политики и отсутствие лишних обещаний; для продукта — решённая задача без эскалации; для безопасности — отсутствие утечки данных и несанкционированных действий. Поэтому метрики качества нельзя полностью купить вместе с очередной платформой мониторинга. Сначала бизнесу придётся описать допустимые действия агента, критические ошибки и случаи, где нужна передача человеку.
Отдельная проблема — задержка обратной связи. Неверный ответ в чате может обнаружиться лишь после повторного обращения пользователя, отмены заказа или жалобы. К этому моменту технические метрики уже будут выглядеть благополучно. Практичный подход — сочетать автоматические проверки на известных кейсах, выборочный аудит реальных диалогов и метрики последствий: долю повторных обращений, эскалаций, отменённых операций и ручных исправлений. Это не сделает оценку идеальной, но превратит разговор о «качестве модели» в проверяемый процесс.
Российским командам, внедряющим агентов в поддержку, продажи и внутренние операции, полезно заложить такую проверку до масштабирования. Пилот с небольшим числом пользователей позволяет увидеть не только стоимость запросов и скорость ответов, но и характер ошибок: галлюцинации, неправильный выбор инструмента, потерю контекста, нарушение бизнес-правил. Для рискованных операций разумно оставить подтверждение человеком или жёсткие ограничения на действия, пока система не накопит достаточно доказательств надёжности.
200 OK останется важным техническим сигналом: без доступного API агент вообще ничего не сделает. Но он перестаёт быть сигналом здоровья продукта. Следующий уровень зрелости для агентных систем — измерять не факт генерации ответа, а качество выполненной работы; и именно вокруг таких метрик, вероятно, будет формироваться рынок инструментов для ИИ-инфраструктуры.
