🍿 2022-09-16 15:34:00 – 巴黎/法国。
谷歌说一项新服务 流 将帮助开发人员将来自相邻事务系统的数据导入其 BigQuery 数据仓库。
Datastream for BigQuery 提供预览版,旨在让开发人员能够从 AlloyDB for PostgreSQL、PostgreSQL、MySQL 和 Oracle 等操作数据库源直接复制到 BigQuery 中,BigQuery 是基于 Google Colossus 分布式文件系统的数据仓库系统云。
谷歌表示,它设想了一个“统一的数据云,将数据库、分析和机器学习结合在一个平台上,提供企业所需的规模、速度、安全性和简单性。”现代人需要,”根据一个为新产品做广告的博客说服务。
Datastream 使用自扩展无服务器架构,允许用户设置提取、加载、转换 (ELT) 管道,以或多或少实时地将数据从源 OLTP 系统复制到 BigQuery。 生成的分析旨在告知用户业务情况并帮助预测接下来可能发生的情况。
无服务器服务还使用 Google 的变更数据捕获 (CDC) 功能和 Storage Write API 的 UPSERT 功能将更新直接从源系统复制到 BigQuery 表中,因此工程师和数据开发人员不必创建和管理复杂的数据管道、暂存表、合并、数据库特定数据类型到 BigQuery 数据类型的逻辑或手动转换。
“只需在 BigQuery 中配置您的源数据库、连接类型和目标,就可以设置好,”数据库工程经理 Andi Gutmans 在博客文章中说。 “BigQuery 的数据流将填充历史数据,并在新变化发生时不断复制它们。 随着数据库架构的变化,Datastream 透明地处理架构更改并自动将新表和列添加到 BigQuery。 »
在 Google Cloud 中收集和分析其数据的组织可能会看到该提议的含义,但一些供应商会试图说服开发人员以另一种方式破解这一特定问题。 例如,Snowflake 有其 Snowpipe 功能,该功能于 2017 年首次推出。亚马逊有一种叫做 AWS Glue 的东西。 其他人问为什么要移动数据并鼓励用户在事务系统中执行分析,就像 Oracle 正在使用 MySQL HeatWave 所做的那样,现在在 AWS 中可用,以及 寄存器 在这里进行了辩论。
巧克力工厂云部门的其他新功能包括对 Google 的 OLTP 数据库服务 Spanner 的基于角色的访问控制。
“借助内置审计跟踪和上下文感知访问等功能,Identity and Access Management 可以轻松地向 Spanner 用户授予实例级和数据库级权限,”产品经理 Mark Donsky 在博客文章中说。
Google 还提供 Spanner 的免费试用实例。 ®
来源: 评论 新闻
不要犹豫,在社交网络上分享我们的文章,给我们一个坚实的推动力。 👓