Google представил предварительный доступ к функции глобальных SQL-запросов в BigQuery, позволяющей разработчикам выполнять запросы к данным, хранящимся в разных географических регионах. Это упрощает процесс анализа, исключая необходимость перемещения данных, и сокращает время на выполнение запросов.
Зачем это нужно
Рынок аналитики данных продолжает развиваться, и функции горизонтального масштабирования становятся критически важными для оптимизации работы с большими объемами распределенных данных. С запуском этой функции, Google предлагает разработчикам инструмент, который позволяет максимально эффективно использовать данные, распределенные по всему миру.
В то же время, конкуренты, такие как Amazon с его Redshift и Athena, уже предлагают подобные возможности. Однако BigQuery делает это более эффективно, автоматически обрабатывая данные из различных регионов и собирая результаты без создания сложной ETL-инфраструктуры.
Технические детали
По словам продукта Google, глобальные запросы уменьшают сложность архитектуры и ускоряют выводы, автоматически определяя, какие части запроса должны выполняться в каждом регионе. Затем результаты объединяются в одной финальной таблице. Например, используя стандартный SQL-подход, разработчики могут комбинировать данные о транзакциях из Европы и Азии с данными клиентов из США.
Тем не менее, стоит помнить, что использование глобальных запросов может привести к увеличению задержек по сравнению с запросами, выполненными в одном регионе. Также, несмотря на автоматизацию, разработчикам нужно тщательно следить за стоимостью, так как расчёт включает затраты на выполнение подзапросов в удаленных регионах.
Что это значит для разработчиков
Для специалистов в области аналитики данных в СНГ это значит возможность значительно упростить рабочие процессы. Если ваша компания работает с распределёнными данными, изучение возможностей BigQuery может помочь оптимизировать затраты и ускорить анализ.
В ближайшее время можно ожидать дальнейшего развития этой функции и возможно удешевления затрат на выполнение глобальных запросов, что сделает их более доступными для крупных компаний и стартапов, работающих с большими объемами данных.