Google запустил поддержку Apache Iceberg в BigQuery, что кардинально улучшит работу с данными для разработчиков. Теперь при создании и запросах к Apache Iceberg таблицам можно использовать такие инструменты, как Spark, Flink, и Trino, не дублируя данные. Это новшество обеспечит возможность работы с одними и теми же наборами данных разными инструментами, избегая зависимости от проприетарных форматов.
Новые возможности для аналитиков и разработчиков
На недавнем саммите Apache Iceberg Google анонсировал новые функции интероперабельности в BigQuery. Появилась возможность управлять метаданными, выполнять обслуживание таблиц и синхронизацию данных, что ранее приходилось делать вручную. Это значительно упростит задачи команд, работающих с большими данными и потоковой аналитикой.
По словам Юрия Жовтобрюха, старшего менеджера по продукту в Google, многие компании сталкиваются с высокими затратами и сложностями в управлении данными при использовании Apache Iceberg. Google расширил свою инфраструктуру BigQuery, чтобы поддерживать Iceberg таблицы с автоматическим управлением метаданными и репликацией данных, что позволит более эффективно использовать ресурсы.
Интеграция с другими облачными платформами
Новые возможности BigQuery включают поддержку запросов к Iceberg каталогам на AWS, Azure и Snowflake, что открывает новые горизонты для кросс-облачной аналитики. Кроме того, появились централизованные средства управления доступом, что упрощает работу с правами и безопасностью данных.
С выходом обновлений Google укрепляет свои позиции на рынке больших данных, конкурируя с аналогами, такими как AWS и Azure. Таким образом, внедрение поддержки Apache Iceberg адресует потребности команд, использующих разные ETL-движки, облегчая их взаимодействие.
Что это значит для бизнеса?
Для русскоязычных компаний, работающих с большими данными, это значит более высокая гибкость и возможность интеграции технологий. Теперь можно без труда использовать различные аналитические инструменты с одними и теми же данными, что существенно сократит затраты и повысит эффективность обработки данных. Если ваша компания планирует развитие аналитики и облачных решений, внедрение этих технологий будет ключевым шагом.
Следующий этап для Google — дальнейшее развитие функционала BigQuery и поддержка новых форматов данных, что позволит укрепить свои позиции на рынке облачной аналитики.