Definity, стартап из Чикаго, внедрил агентов непосредственно в обработку этих Spark, что позволяет заранее выявлять сбои. Это решение критически важно для AI-систем, зависящих от точности и актуальности данных.
Рынок и конкуренция
Многие компании, занимающиеся обработкой данных, сталкиваются с проблемами надежности пайплайнов, часто устраняя сбои только после их возникновения. Традиционные инструменты, такие как Datadog или Databricks, работают «после факта», что создает дополнительные риски для бизнеса. В отличие от них, подход Definity основан на профилактике сбоев в режиме реального времени.
Как работают агенты Definity
Агенты Definity устанавливаются внутри пайплайнов, что позволяет им напрямую отслеживать выполнение этих в реальном времени. Это достигается добавлением одного кода в агентов JVM, что делает агент стать частью процесса обработки. Так, за первую неделю внедрения один из клиентов определил 33% возможностей для оптимизации и сократил усилия на устранение сбоев на 70%.
По словам CEO Definity Роя Даниэла, «нужно три ключевых элемента для операций с данными: полный контекст в реальном времени, контроль над пайплайном и возможность верификации в цикле обратной связи». Эти возможности позволяют не просто наблюдать, но и вносить коррективы в режиме реального времени — ограничивать ресурсы или останавливать выполнение задач при необходимости.
Практические выводы для бизнеса
Для российских компаний использование подобного решения может значительно повысить эффективность обработки этих и сократить затраты на устранение сбоев. Учитывая специфику бизнеса в СНГ, где ошибки могут приводить к значительным потерям, интеграция подобной технологии становится особенно актуальной. Интересно, что внедрение Definity позволяет улучшить скорость решения проблем до 10 раз по сравнению с традиционными методами.
Теперь Definity завершила круг финансирования, получив $12 млн в раунде Series A. Участники — инвесторы GreatPoint Ventures, Dynatrace и StageOne Ventures — подчеркивают ценность подхода компании в современных реалиях.