Il livello senza precedenti di carichi di lavoro sui dati ha comportato un cambio nell’architettura degli hybrid data. Per questo, Cloudera ha deciso di integrare il formato Iceberg all’interno della propria Data Platform e ne spiega il perché.
Negli ultimi dieci anni, il successo dell’implementazione di piattaforme dati su larga scala presso i clienti ha agito come un moltiplicatore, spingendo la domanda a introdurre ancora più dati, ad applicare analisi più sofisticate e ad assumere molti nuovi professionisti dei dati, dagli analisti aziendali ai data scientist. Questo livello senza precedenti di carichi di lavoro sui dati non è privo di sfide. Il livello dell’architettura dei dati è una di queste aree in cui i dataset in crescita hanno superato i limiti della scalabilità e delle prestazioni. Per questo, Cloudera ha deciso di integrare il formato Iceberg all’interno della propria Cloudera Data Platform. Analizziamone i diversi elementi, ponendo attenzione all’apertura e all’aderenza agli standard di mercato.
Apache Iceberg: creare un data lakehouse ovunque
Apache Iceberg è nato presso Netflix per risolvere i problemi legati alle tabelle estese su scala petabyte. Netflix l’ha poi donato alla comunità open-source nel 2018 come progetto all’interno di Apache Incubator. Cloudera è stata fondamentale per l’espansione dello standard di settore Apache Iceberg, formato ad alte prestazioni per enormi tabelle analitiche. Chi ha familiarità con il tradizionale linguaggio di interrogazione strutturato (SQL) riconoscerà immediatamente il formato delle tabelle Iceberg. Questo consente a più applicazioni – Hive, Impala, Spark, Trino, Flink e Presto – di lavorare contemporaneamente sugli stessi dati. Inoltre, tiene traccia dello stato di evoluzione del set di dati e di altri cambiamenti nel tempo.
Approccio open agli hybrid data
Iceberg è un elemento centrale della Cloudera Data Platform (CDP), e consente agli utenti di costruire un’architettura di data lakehouse aperta per fornire analisi multifunzionali su grandi insiemi di dati sia in streaming che archiviati. Il tutto in un object store cloud-native che funziona sia on-premise che su più cloud. Ottimizzando i vari servizi dati CDP, tra cui Cloudera Data Warehousing (CDW), Cloudera Data Engineering (CDE) e Cloudera Machine Learning (CML), gli utenti possono definire e manipolare i dataset con comandi SQL. Gli utenti possono anche costruire pipeline di dati complesse utilizzando funzioni come le “time travel” e distribuire modelli di machine learning (ML) realizzati a partire dai dati contenuti nelle tabelle di Iceberg.
I vantaggi per la produttività
Grazie al contributo alla comunità open-source, Cloudera ha esteso il supporto a Hive e Impala. Così ha realizzato un’architettura di dati per l’analisi multifunzione in grado di gestire carichi di lavoro di ingegneria dei dati su larga scala, BI, query veloci e ML. Cloudera ha integrato Iceberg nel layer Shared Data Experience (SDX) di CDP, in modo da rendere più rapidi i vantaggi di produttività e prestazioni del formato aperto delle tabelle. Inoltre, l’integrazione nativa di Iceberg beneficia di varie funzionalità di livello enterprise di SDX, come le funzionalità di data lineage, audit e sicurezza. Cloudera assicura che le organizzazioni possono costruire un lakehouse aperto ovunque, su qualsiasi cloud pubblico o on-premise. Inoltre, l’approccio open garantisce la libertà di scegliere lo strumento di analisi preferito senza alcun lock-in.
Apache Ranger: gestione delle policy per l’intero ambiente ibrido
Apache Ranger è un framework software che abilita, monitora e gestisce la sicurezza completa dei dati nella piattaforma CDP. È lo strumento per la creazione e la gestione dei criteri di accesso ai dati e ai servizi dello stack CDP. Gli amministratori della sicurezza possono definire politiche di sicurezza a livello di database, tabelle, colonne e file e amministrare le autorizzazioni per gruppi o individui specifici. Ranger gestisce l’intero processo di autenticazione degli utenti e i diritti di accesso alle risorse di dati. Ad esempio, un particolare utente potrebbe essere autorizzato a creare una policy e a visualizzare i report, ma non a modificare utenti e gruppi.
Apache Atlas: gestione e governance dei metadati
Apache Atlas è un sistema di gestione e governance dei metadati utilizzato per aiutare a trovare, organizzare e gestire le risorse di dati. In sostanza, funziona come un vigile urbano all’interno di un’architettura di dati. Creando rappresentazioni di metadati di oggetti e operazioni all’interno del data lake, Atlas consente agli utenti di capire perché i modelli producono risultati specifici, risalendo fino all’origine dei dati di partenza. Utilizzando i metadati raccolti, Atlas crea relazioni tra le risorse di dati.
Approccio open agli hybrid data
Quando Atlas riceve informazioni sulle query, annota l’input e l’output della query e genera una mappa del percorso che traccia l’utilizzo e la trasformazione dei dati nel tempo. Questa visualizzazione delle trasformazioni dei dati consente ai team di governance di identificare rapidamente una fonte di dati e di comprendere l’impatto delle modifiche ai dati e allo schema.
Apache Ozone: risposta open source per storage on-premise ad alta densità
La separazione delle risorse di calcolo e di dati nel cloud offre molti vantaggi a un’implementazione di CDP. Presenta più opzioni per l’allocazione delle risorse di calcolo e di archiviazione e consente di spegnere i cluster di server per evitare spese di calcolo non necessarie, lasciando i dati a disposizione di altre applicazioni. Inoltre, i carichi di lavoro ad alta intensità di risorse possono essere isolati su cluster di calcolo dedicati, separati per i diversi carichi di lavoro.
Affinché questi vantaggi siano coerenti ovunque, anche in sede, CDP Private Cloud, la versione on-premises di CDP, utilizza Apache Ozone per separare lo storage dall’elaborazione. Apache Ozone è un object store on-premises distribuito, scalabile e ad alte prestazioni che supporta lo stesso modello di interazione di AWS S3, Microsoft Azure Data Lake Storage (ADLS) o Google Cloud Storage (GCS).
Le conclusioni
Da sempre, Cloudera punta sull’industrializzazione della gestione dei dati open source e dell’innovazione analitica. Si tratta di una strategia in cui crediamo fortemente, poiché le aziende danno il giusto peso all’aspetto economico. E difficilmente premiano le piattaforme chiuse o proprietarie o quelle costruite da un unico fornitore senza un ampio ecosistema. Cloudera è uno dei 20 fornitori presenti nell’affollato mercato dei sistemi di gestione dei database in cloud (CDMS).
La scelta del fornitore per soddisfare esigenze specifiche può apparire un compito scoraggiante. Ma optare per un provider che abbia un approccio open è cruciale. Indifferentemente dal tipo di implementazione aziendale, i dati provengono da molte fonti diverse e devono lavorare con i sistemi di origine e di destinazione in modo molto più aperto. Qualsiasi software utilizzato deve essere costruito tenendo conto di questo aspetto.
Cloudera: approccio open agli hybrid data
In questo contesto, Cloudera intende sfruttare più sistemi open-source per fornire soluzioni ibride multi-cloud e la massima scelta ai clienti. Questo al fine di consentire loro di essere sempre un passo avanti in termini di innovazione e interoperabilità. Le grandi imprese con significative quantità di dati vedono in Cloudera l’azienda giusta per gestire i dati end-to-end on premise o nel cloud pubblico, o anche per raccogliere i dati provenienti da un’applicazione SaaS. Cloudera sta facendo un ottimo lavoro per riunire il tutto sotto un unico cappello, con un’unica soluzione per la gestione dei dati su larga scala.
