Google predstavlja konektor za striming za BigQuery

Google predstavlja konektor za striming za BigQuery - The Register

🍿 2022-09-16 15:34:00 – Pariz/Francuska.

Google kaže novu uslugu streaming će pomoći programerima da dođu u svoje BigQuery skladište podataka iz susjednih transakcionih sistema.

Dostupan u pregledu, Datastream za BigQuery je dizajniran da omogući programerima da repliciraju iz operativnih izvora baze podataka kao što su AlloyDB za PostgreSQL, PostgreSQL, MySQL i Oracle direktno u BigQuery, oblak sistema skladišta podataka baziran na Google-ovom Colossus Distributed File System.

Google je rekao da predviđa "objedinjen oblak podataka, kombinujući baze podataka, analitiku i mašinsko učenje u jednoj platformi koja pruža obim, brzinu, sigurnost i jednostavnost koji su potrebni modernim ljudima", navodi se na blogu koji oglašava novu usluga.

Datastream koristi samoskalirajuću arhitekturu bez servera koja omogućava korisnicima da postave cevovod za izdvajanje, učitavanje, transformaciju (ELT) za replikaciju podataka iz izvornog OLTP sistema u BigQuery u manje-više realnom vremenu. Rezultirajuća analitika je namijenjena informiranju korisnika o poslovnim okolnostima i pomoći u predviđanju onoga što bi se moglo dogoditi sljedeće.

Usluga bez servera također koristi Googleovu funkciju Change Data Capture (CDC) i funkciju UPSERT API-ja Storage Write za repliciranje ažuriranja direktno iz izvornih sistema u BigQuery tabele, tako da inženjeri i programeri podataka ne moraju kreirati i upravljati složenim cevovodima podataka, tabelama za postavljanje , spajanje, logička ili ručna konverzija tipova podataka specifičnih za bazu podataka u BigQuery tipove podataka.

"Samo konfigurišite svoju izvornu bazu podataka, tip veze i odredište u BigQueryju i spremni ste", rekao je Andi Gutmans, menadžer za inženjering baze podataka, u postu na blogu. “Datastream za BigQuery će popuniti historijske podatke i kontinuirano replicirati nove promjene kako se dogode. A kako se šeme baze podataka mijenjaju, Datastream transparentno upravlja promjenama sheme i automatski dodaje nove tabele i kolone u BigQuery. »

Organizacije koje prikupljaju i analiziraju svoje podatke u Google Cloud-u mogu shvatiti značenje ponude, ali neki dobavljači će pokušati uvjeriti programere da taj orah razbiju na drugi način. Snowflake, na primjer, ima svoju funkciju Snowpipe, koju je prvi put predstavio 2017. Amazon ima nešto što se zove AWS Glue. Drugi se pitaju zašto premještati podatke i podsticati korisnike da vrše analizu u transakcionim sistemima, kao što Oracle radi sa MySQL HeatWave, sada dostupnim u AWS-u, i kao Registar raspravljalo se ovdje.

Ostale nove značajke iz odjela za oblake tvornice čokolade uključuju kontrolu pristupa baziranu na ulogama Googleovoj OLTP usluzi baze podataka, Spanner.

„Sa funkcijama kao što su ugrađeni revizijski trag i pristup svjestan konteksta, upravljanje identitetom i pristupom olakšava davanje dozvola na nivou instance i baze podataka korisnicima Spanner-a,“ rekao je menadžer proizvoda Mark Donsky u postu na blogu.

Google također nudi besplatne probne instance Spanner-a. ®

IZVOR: Reviews News

Ne ustručavajte se podijeliti naš članak na društvenim mrežama kako biste nam dali solidan poticaj. 👓

Izađite iz mobilne verzije