Raindrop вывела в публичную бету платформу Simulations, которая воспроизводит окружение продакшен-ИИ-агента перед изменением промпта, модели или набора инструментов. Для команд, которые уже выпускают агентные функции в продукт, симуляции ИИ-агентов могут стать проверкой уровня CI: не только «не упал ли код», но и «не начал ли бот принимать странные решения».
О запуске сообщает The New Stack. По данным издания, во время раннего доступа клиенты и команда Raindrop выполнили более 33 тыс. симуляций в рамках свыше 1,7 тыс. pull request. Компания позиционирует продукт как способ увидеть побочные эффекты до мержа, когда разработчик меняет системную инструкцию, переключает LLM или подключает новый инструмент.
Обычные eval-наборы проверяют заранее придуманные сценарии. Для агента этого часто недостаточно: его ответ зависит не только от промпта, но и от фичефлагов, тарифа пользователя, истории диалога, состояния внешних API и данных в подключённых системах. Сооснователь и CTO Raindrop Бен Хайлак формулирует проблему прямо: один и тот же агент в разных запусках выбирает разные пути. Поэтому тестировать нужно не отдельный ответ модели, а ход выполнения задачи в окружении, близком к тому, где агент реально работает.
Simulations берёт продакшен-трассы и на их основе собирает изолированную копию мира агента: используемые инструменты, API и базы данных. Сам агент запускается с настоящими промптом, моделью и циклом исполнения, но без доступа к боевым сервисам и учётным данным. На каждый вызов инструмента платформа формирует ответ, опираясь на ранее зафиксированные трассы, проверяет его соответствие ожидаемым типам и поддерживает согласованное состояние симуляции. Это важно: простой повтор старого HTTP-ответа годится лишь до тех пор, пока обновлённый агент не выбрал другой маршрут.
В этом и заключается отличие от привычного «replay». Если после смены модели агент вместо чтения базы обращается к новому CRM-инструменту, исторической трассы для такого шага может не быть. Raindrop в этом случае достраивает недостающие данные синтетически. Компания не скрывает ограничение: такой тест менее достоверен, чем сценарий, полностью восстановленный по продакшен-следам. Чтобы команда понимала степень приближения, сервис показывает оценку точности симуляции и указывает, каких данных не хватает. Их можно добавить файлом или подключить источник данных через Model Context Protocol, а затем повторить запуск.
Проблема глубже, чем кажется из интерфейса pull request. Модель способна заметить нестыковки в искусственных данных и изменить поведение только потому, что «поняла», что находится на тесте. Raindrop пытается учитывать этот эффект отдельно. Кроме того, платформа запускает несколько симуляций и сопоставляет результаты с историей продакшена, чтобы не принять нормальную вариативность LLM за регрессию. Такой подход не обещает математической истины — и это, пожалуй, честнее типичного зелёного статуса теста.
Для российских команд практический вывод довольно приземлённый. Если агент лишь отвечает на вопросы по базе знаний, можно начать с тщательно собранных eval-кейсов. Но когда он вызывает внутренние API, создаёт заявки, работает с CRM, платежами или кодовой базой, изменение одной инструкции превращается в изменение поведения распределённой системы. Симуляции ИИ-агентов позволяют привязать проверку к pull request и разбирать не только ожидаемую правку, но и соседние сценарии, которые никто не внёс в тест-план. Это особенно полезно продуктам, где стоимость ошибки — не плохой текст, а неверно оформленный возврат, лишний запрос к сервису или испорченный клиентский процесс.
Raindrop ранее начинала как инструмент мониторинга агентов и теперь выстраивает цепочку вокруг их надёжности: обнаружить проблему в продакшене, проверить исправление до релиза, а затем наблюдать последствия после него. Открытым остаётся главный вопрос: достаточно ли точно синтетическое окружение сможет воспроизвести редкие и дорогие случаи, ради которых всё это затевается. Но сама идея уже выглядит неизбежной: по мере роста автономности агентов проверять только их финальный ответ будет примерно так же убедительно, как тестировать интернет-магазин одной кнопкой «Оформить заказ». Подробнее о публичной бете — в материале .
