DuckDB представил DuckLake — новый формат lakehouse, который устраняет проблему малых изменений, характерную для таких систем. Это решение обеспечивает 926-кратное ускорение обработки запросов по сравнению с форматом Iceberg, используется для хранения данных в открытых таблицах.
Контекст: Проблема малых изменений
Малые изменения в lakehouse-системах, построенных на технологиях от таких компаний, как Databricks и Snowflake, часто приводят к снижению производительности. При внесении небольших правок, таких как добавление одной строки, необходимо создавать новые файлы, что требует значительных ресурсов. DuckDB предлагает решение, основанное на использовании реляционных баз данных (RDBMS) для управления метаданными, что позволяет оптимизировать этот процесс.
Технологические детали DuckLake
С выходом DuckLake 1.0 команда DuckDB показала, как можно эффективно использовать RDBMS, чтобы упаковывать малые изменения и отправлять их в Parquet большими порциями. Ханнес Мюлейзен, CEO DuckDB Labs, подчеркивает: "Системы баз данных значительно лучше справляются с мелкими изменениями, чем объектные хранилища. Вместо записи новых файлов, мы добавляем данные в таблицу в базе данных, что гениально упрощает процесс." Это не только улучшает скорость обработки, но и делает работу с данными более эффективной.
По данным DuckDB, новые технологии обеспечивают в 105 раз более быструю загрузку данных. В блоге компании приводятся примеры, показывающие, что использование DuckLake позволяет сократить время обработки до 926 раз, что существенно меняет правила игры.
Значение для бизнеса и разработчиков
Решение DuckDB имеет большое значение для бизнеса, работающего с большими объемами данных. Для IT-команд это означает возможность сокращения времени ожидания и повышения эффективности обработки запросов. Компании в России и СНГ, ориентированные на оптимизацию своих баз данных, смогут значительно улучшить производительность своих систем, используя DuckLake вместо традиционных подходов.
Следующий шаг для DuckDB — расширение функционала DuckLake и интеграция новых технологий для повышения производительности в будущем.