Elusion обновил библиотеку Data Engineering и теперь предлагает встроенную архитектуру Medallion для построения дата-пайплайнов исключительно на Rust. Это важная новинка для разработчиков, которые ищут более простые и эффективные решения без зависимости от Python, dbt или Airflow.
Что нового в версии 8.3.0
Новая версия 8.3.0 включает в себя архитектуру с тремя уровнями: Bronze, Silver и Gold, что позволяет упрощать процесс обработки данных. Обновление также обеспечивает DAG-ориентированное выполнение с возможностью параллельной обработки и автоформатированием в Parquet или Delta на каждом уровне.
Всё это управляется через конфигурационные файлы elusion.toml и connections.toml, что упрощает настройку. Кроме того, каждый модельный файл расположен отдельно, что улучшает организацию, и приложение доступно как единый бинарный файл, готовый к работе в Docker.
Значение для разработчиков
Для российских разработчиков это обновление открывает новые горизонты в области обработки данных. С учетом малой популярности Python в некоторых проектах, использование Rust может существенно повысить производительность и надежность. Проект также готов к интеграции с Microsoft Fabric и OneLake, что делает его масштабируемым. Если ваша команда работает с большими данными, стоит рассмотреть переход на платформы с использованием Medallion Architecture.
Как показывает практика, отказ от устаревших решений вроде Airflow в пользу более современных технологий может сократить время на разработку на 20-30%.
Следующий шаг — оценка практики применения новой архитектуры среди разработчиков, что поможет улучшить инструменты и подходы в инфраструктуре обработки данных.