LangSmith запустил новый инструмент под названием Engine, который автоматизирует процесс отладки AI-агентов, решая проблему отставания инженеров от реальных ошибок. Теперь вместо долгих циклов отладки, когда сотрудники компании вынуждены искать и исправлять ошибки в агенте, система сама выявляет сбои, анализирует причины и формирует исправления в режиме реального времени.
Контекст и вызовы рынка
Многие компании сталкиваются с проблемами при разработке и внедрении AI-агентов, поскольку традиционные методы отладки занимают слишком много времени. LangSmith впервые предложил решение, которое способствует более быстрому выявлению проблем. Однако в этом сегменте много конкурентов, таких как Anthropic, OpenAI и Google, которые также развивают собственные инструменты для мониторинга и оценки AI-систем.
Специалисты LangSmith отмечают, что стандартный цикл разработки агента включает в себя множество этапов: от анализа действий агента до создания и тестирования исправлений. Проблема заключается в том, что часто не удается сразу выявить ошибки, и они повторяются в продакшене.
Как работает LangSmith Engine
Engine отслеживает производственные данные и выявляет различные типы ошибок, такие как «явные ошибки», «фэйлы оценщиков» и аномалии. Система читает исходный код и автоматически составляет запрос на исправление. Человеческий фактор задействован только на этапе одобрения, что позволяет сократить время на устранение ошибок. Это значительно упрощает жизнь AI-инженеров и ускоряет процесс разработки.
Поскольку LangSmith утверждает, что ей удается автоматизировать весь процесс — от выявления ошибки до составления исправления — инструмент имеет потенциал занять свою нишу на рынке. Однако, учитывая, что крупные игроки уже начинают предлагать свои решения по мониторингу, LangSmith придется отстоять свою позицию.
Преимущества использования LangSmith Engine
Использование Engine может значительно повысить эффективность работы команд разработчиков, освобождая их от рутинных задач и позволяя сосредоточиться на более сложных аспектах создания агентов. В условиях, когда многие предприятия предпочитают использовать независимые инструменты для получения данных и ведения аудита, LangSmith может занять важное место на рынке.
К 2025 году большинство компаний могут перейти к мульти-модельным системам, где наблюдение и оценка будут интегрированы в каждый отдельный продукт. Чтобы успешно конкурировать, LangSmith нужно продемонстрировать, что он станет универсальным решением для управления качеством и надежностью разработки AI-агентов.