Databricks анонсировал два новых продукта, которые помогают решить десятилетние проблемы с обработкой данных, замедляющие работу AI-агентов. Системы, которые работают с актуальной информацией, требуют минимальной латентности — это критически важно для их эффективного функционирования.
Инновации от Databricks
На Data + AI Summit компания представила Lakehouse//RT и LTAP. Первый продукт обеспечивает задержку запросов в миллисекундах на управляемых таблицах Delta и Iceberg, что позволяет устранить отдельный уровень обслуживания в режиме реального времени. LTAP, с другой стороны, хранит транзакционные данные в формате Delta или Iceberg на этапе записи, устраняя необходимость в сложных ETL-процессах.
Согласно словам Раймонда Сина, соучредителя Databricks, эти продукты являются «святым граалем для AI-агентов». Он отметил, что упрощенная архитектура позволяет агентам работать быстрее, так как устраняется лишняя сложность в инфраструктуре. Ранее аналоги, такие как HTAP, пытались решить эту проблему, но не смогли.
Преимущества новых решений
Основное преимущество LTAP заключается в интеграции транзакционных и аналитических данных на уровне хранилища, что устраняет необходимость в затратных преобразованиях. Lakebase, облачный сервис PostgreSQL от Databricks, стал общедоступен в феврале 2023 года и теперь обеспечивает прямую загрузку данных в аналитической форме. Это снижает затраты на выполнение запросов, поскольку данные хранятся в едином формате для всех типов запросов.
Сложность систем хранения данных долгое время тормозила развитие AI-приложений. LTAP и Lakehouse//RT должны помочь предпринимателям значительно повысить производительность своих AI-систем, минимизировав время отклика и упростив управление данными.
Практическое значение для бизнеса
Для ИТ-команд в России это означает возможность построения более эффективных AI-систем с улучшенной производительностью и низкой латентностью. Уменьшение числа преобразований данных и упрощение инфраструктуры должны способствовать снижению затрат и оптимизации процессов. Если ваша компания разрабатывает свои решения на базе AI, новые инструменты от Databricks могут быть интересны как минимум для тестирования.
Следующий шаг: Databricks продолжит развивать свои новые инструменты — это уже второй значимый шаг компании в сторону оптимизации работы с данными за последние годы, и ожидать новых анонсов стоит в ближайшие месяцы.