🍿 2022, 09:16:15 – Париж/Франция.
Google говорит о новом сервисе потоковый поможет разработчикам получать данные в свое хранилище данных BigQuery из смежных транзакционных систем.
Доступный в предварительной версии Datastream для BigQuery предназначен для того, чтобы дать разработчикам возможность репликации из источников операционных баз данных, таких как AlloyDB для PostgreSQL, PostgreSQL, MySQL и Oracle, непосредственно в BigQuery, облачную систему хранилища данных, основанную на распределенной файловой системе Google Colossus.
Google заявила, что представляет «унифицированное облако данных, объединяющее базы данных, аналитику и машинное обучение на единой платформе, которая обеспечивает масштаб, скорость, безопасность и простоту, которые нужны бизнесу». оказание услуг.
Datastream использует самомасштабирующуюся бессерверную архитектуру, которая позволяет пользователям настроить конвейер извлечения, загрузки, преобразования (ELT) для репликации данных из исходной системы OLTP в BigQuery более или менее в реальном времени. Полученная аналитика предназначена для информирования пользователей о деловых обстоятельствах и помощи в прогнозировании того, что может произойти дальше.
Бессерверная служба также использует функцию Google Change Data Capture (CDC) и функцию UPSERT Storage Write API для репликации обновлений непосредственно из исходных систем в таблицы BigQuery, поэтому инженерам и разработчикам данных не нужно создавать и управлять сложными конвейерами данных, промежуточными таблицами. , слияния, логическое или ручное преобразование типов данных, специфичных для базы данных, в типы данных BigQuery.
«Просто настройте исходную базу данных, тип подключения и место назначения в BigQuery, и все готово», — сказал в своем блоге Энди Гутманс, менеджер по разработке баз данных. «Поток данных для BigQuery будет заполнять исторические данные и постоянно реплицировать новые изменения по мере их возникновения. А по мере изменения схемы базы данных Datastream прозрачно обрабатывает изменения схемы и автоматически добавляет новые таблицы и столбцы в BigQuery. »
Организации, которые собирают и анализируют свои данные в Google Cloud, могут понять смысл предложения, но некоторые вендоры попытаются убедить разработчиков расколоть этот конкретный орешек другим способом. У Snowflake, например, есть функция Snowpipe, впервые представленная в 2017 году. У Amazon есть что-то под названием AWS Glue. Другие спрашивают, зачем перемещать данные, и призывают пользователей выполнять анализ в транзакционных системах, как это делает Oracle с MySQL HeatWave, теперь доступной в AWS, и как Регистр обсуждалось здесь.
Другие новые функции облачного подразделения шоколадной фабрики включают управление доступом на основе ролей к службе базы данных OLTP Google, Spanner.
«Благодаря таким функциям, как встроенный контрольный журнал и контекстно-зависимый доступ, Identity and Access Management позволяет легко предоставлять пользователям Spanner разрешения на уровне экземпляра и на уровне базы данных», — сказал в своем блоге менеджер по продукту Марк Донски.
Google также предлагает бесплатные пробные экземпляры Spanner. ®
ИСТОЧНИК: Отзывы Новости
Не стесняйтесь поделиться нашей статьей в социальных сетях, чтобы дать нам солидный импульс. 👓