Google Cloud unifica data warehouse e data lake per non porre più limiti ai dati

Google Cloud ha un obiettivo preciso: consentire ai clienti di affrontare le nuove sfide poste dalla necessità di operare con un numero sempre crescente di dati. Per raggiungere tale obiettivo Google Cloud propone alcune novità volte a permettere di lavorare con “un numero di dati illimitato, attraverso ogni carico di lavoro ed estendo l’accesso a tutti“, sottolinea l’azienda.

I nuovi annunci includono BigLake e Spanner change streams, che hanno lo scopo di unificare ulteriormente i dati assicurando che siano disponibili in tempo reale, e Vertex AI Workbench e Model Registry, indirizzati a colmare il divario di valore tra dati e AI. E per rendere i dati alla portata di tutti, arriva un’esperienza unificata di business intelligence (BI) che include una nuova integrazione Workspace, insieme a nuovi programmi per l’ecosistema di partner cloud.

Riunire data lake e data warehouse

Il primo annuncio riguarda la preview di BigLake, un motore di storage data lake, progettato per rimuovere i limiti dei dati unificando i data lake e i data warehouse. La gestione dei dati attraverso differenti lake e warehouse crea silos e aumenta i rischi e i costi, soprattutto quando i dati devono essere spostati. BigLake permette alle aziende di unificare i loro data warehouse e data lake per analizzare i dati senza preoccuparsi del formato o del sistema di archiviazione sottostante, il che elimina la necessità di duplicare o spostare i dati da una fonte all’altra e riduce i costi e le inefficienze.

Con BigLake, i clienti ottengono controlli di accesso granulari, con un’interfaccia API che abbraccia Google Cloud e formati di file aperti come Parquet, insieme a motori di elaborazione open-source come Apache Spark. Queste capacità estendono un decennio di innovazioni portate con BigQuery ai data lake su Google Cloud Storage per consentire un’architettura flessibile ed economica di open lake house.

Twitter utilizza già le capacità di storage con BigQuery per rimuovere i limiti dei dati in modo da capire meglio come le persone usano la loro piattaforma e a quali tipi di contenuti potrebbero essere interessati. Come risultato, Twitter è grado di servire contenuti attraverso trilioni di eventi al giorno con una pipeline di annunci che esegue più di 3 milioni di aggregazioni al secondo.

Dati senza più limiti

Un’altra importante innovazione annunciata da Google Cloud, ma disponibile in futuro, è Spanner change streams. Si tratta di un prodotto progettato per eliminare i limiti di dati, consentendo di tracciare i cambiamenti all’interno del proprio database Spanner in tempo reale al fine di sbloccare nuovo valore.

Spanner change streams traccia gli inserimenti, gli aggiornamenti e le eliminazioni Spanner per trasmettere le modifiche in tempo reale all’intero database Spanner di un cliente. Questo assicura che si abbia sempre accesso ai dati più recenti, in quanto possono facilmente replicare le modifiche da Spanner a BigQuery per l’analisi in tempo reale, innescare il comportamento delle applicazioni a valle utilizzando Pub/Sub, o memorizzare le modifiche in Google Cloud Storage (GCS).

Sviluppo velocizzato

Il portafoglio AI di Google Cloud si basa su Vertex AI, una piattaforma gestita che rende disponibili svariati tool di ML per costruire, distribuire e scalare i modelli, e che è ottimizzata per lavorare con i workload dei dati in BigQuery e non solo. Alcune innovazioni previste per Vertex AI consentiranno un’esperienza ancora più agile per portare i modelli AI in produzione più velocemente e rendere più facile la manutenzione.

In tal senso, Vertex AI Workbench porta i dati e i sistemi di ML all’interno di un’unica interfaccia in modo che i team abbiano a disposizione un set di strumenti comune per l’analisi dei dati, la data science e il machine learning. Con integrazioni native tra BigQuery, Serverless Spark e Dataproc, Vertex AI Workbench consente ai team di costruire, addestrare e distribuire modelli ML più velocemente (fino a cinque volte assicura Goolge Cloud) dei notebook tradizionali.

Con Vertex AI, si ha la possibilità di aggiornare regolarmente i modelli. Ma la gestione dell’enorme numero di artefatti coinvolti può rappresentare un problema. Per evitare che ciò accada, Google Cloud ha introdotto nuove funzionalità MLOps con Vertex AI Model Registry. Attualmente in preview, Vertex AI Model Registry fornisce un repository centrale per individuare, utilizzare e gestire i modelli di apprendimento automatico, compresi quelli in BigQuery ML. Questo facilita la condivisione dei modelli da parte dei data scientist e il loro utilizzo da parte degli sviluppatori di applicazioni, consentendo ai team di trasformare i dati in decisioni in tempo reale.

Più informazioni dai dati

Un’altra novità di cui dà notizia Google Cloud è Connected Sheets per Looker, cui si affianca la possibilità di accedere ai modelli di dati Looker all’interno di Data Studio. È così possibile interagire con i dati in qualsiasi modo si scelga, sia attraverso Looker Explore, da Google Sheets, oppure utilizzando l’interfaccia drag-and-drop di Data Studio. L’obiettivo è rendere più facile l’accesso e lo sblocco di insight dai dati per prendere decisioni data-driven grazie a una nuova piattaforma unificata di business intelligence (BI). Questa esperienza unificata di BI intende semplificare l’accesso a dati aziendali governati e affidabili, incorporare nuovi set di dati e calcoli e collaborare con i colleghi.

Le novità per l’ecosistema di partner Google Cloud

Per assicurare ai clienti soluzioni partner che siano strettamente integrate e ottimizzate, Google Cloud ha annunciato il porgramma Google Cloud Ready – BigQuery, una nuova validazione che riconosce le soluzioni dei partner che soddisfano un nucleo di requisiti funzionali e di interoperabilità. Già oggi più di 25 partner sono parte di questo nuovo programma che intende riduce i costi per i clienti associati alla valutazione di nuovi strumenti, aggiungendo anche il supporto per nuovi casi d’uso dei clienti.

Google Cloud ha annunciato anche il nuovo Database Migration Program. Questo ha l’obiettivo di aiutare i clienti ad accelerare rapidamente e senza soluzione di continuità il passaggio da on-premise e altri cloud ai servizi di database gestiti da Google. Il programma include strumenti, risorse e competenze, nonché incentivi per compensare il costo della migrazione dei database.