Confluent, società specializzata nel data streaming, ha organizzato Current London 2025, un evento che ha coinvolto sviluppatori e partner, caratterizzato da numerosi workshop e attività dedicate alla formazione e al conseguimento di certificazioni.
Durante il keynote iniziale sono intervenuti Shaun Clowes, CPO, Ahmed Saef Zamzam, Director Technical Marketing, Addison Huddy, VP Product Management, e Jay Kreps, CEO e Co-Founder. Hanno partecipato anche le ospiti Robin Sutara, Field Chief Data Officer di Databricks, e Dora Simroth, Head of Data & AI Engineering di E.ON Digital Technology. La prima ha presentato la piattaforma di Databricks, marchio che lavora in partnership con Confluent per accedere ai dati in tempo reale. La seconda ha illustrato i vantaggi dell’uso dello streaming dei dati per gestire al meglio una rete elettrica distribuita.
Per la stampa sono state tenute anche due tavole rotonde, una con Jay Kreps e Richard Timperlake, Senior Vice President EMEA Sales, l’altra con tre aziende clienti di Confluent: Flix (rappresentata da Ashish Kumar, Senior Software Engineer), Upvest (Uwe Jugel, Head of Data Platform), Virta Global (Jussi Ahtikari, Chief AI Officer).
Lo streaming dei dati
Lo streaming dei dati sta diventando fondamentale per le moderne architetture software, è la chiave per districare le enormi pipeline e il codice personalizzato che rallentano il business delle aziende, dall’intelligenza artificiale alle app, ai microservizi.
Shaun Clowes
Nell’ultimo decennio, i sistemi sono diventati sempre più affamati di dati, e sempre più spesso sono necessari dati in tempo reale. Per esempio, un sistema come quello che gestisce i prezzi e le promozioni di un negozio al dettaglio deve reagire in tempo reale in funzione dello stato del magazzino e dei fornitori, per rispondere subito alle variazioni. Con l’intelligenza artificiale emerge una nuova classe di applicazioni, che hanno bisogno di molti dati in tempo reale. Serve quindi un cambio di paradigma, per spostare i dati, elaborarli e agire di conseguenza in modo fluido e istantaneo. Bisogna unificare le aree operative e analitiche, affinché i dati fluiscano senza soluzione di continuità dalle applicazioni operative a quelle di analisi, per poi tornare alle prime con informazioni aggiornate, così da chiudere il cerchio.
Una piattaforma di streaming open source e distribuita come Apache Kafka è ciò che consente di trasferire i dati senza problemi, ovunque servano. Confluent lavora per semplificare lo streaming dei dati da e verso tutti i sistemi, applicazioni e database. Dispone di 85 diversi connettori completamente gestiti per tutte le fonti, le applicazioni e i sistemi di sincronizzazione più diffusi, come Oracle, Elastic, AWS, Lambda e MongoDB.
Spesso gli sviluppatori creano applicazioni che eseguono lo streaming in modo nativo utilizzando i client Kafka. Per semplificare la creazione, il test e il rilascio di applicazioni streaming in Visual Studio Code – uno degli ambienti di sviluppo più usati – Confluent ha preparato il nuovo plug-in Kafka VS Code, già disponibile nel marketplace di Visual Studio. Con poche righe di codice, qualsiasi sviluppatore può caricare dati in Kafka, sapendo che arriveranno immediatamente dove servono, senza bisogno di sapere come. Il tutto funziona in modo istantaneo, affidabile e su larga scala.
Kafka cloud native: ecco Kora
Il sistema Apache Kafka sta attraversando un momento di grande fermento: oltre 150.000 organizzazioni utilizzano Kafka in produzione, che con la release 4.0 raggiunge nuovi vertici di prestazione e velocità. La spinta degli sviluppatori sta portando Kafka nel cloud, perché lo streaming nel cloud è vincente, se fatto correttamente. In questi ultimi mesi, l’azienda ha trasformato Kafka in Kora, una piattaforma di streaming dati globale, elastica, serverless e moderna, che gestisce ogni genere di carico di lavoro.
Addison Huddy
Per rendere Kafka cloud native è stato necessario agire su tre aree: sicurezza e affidabilità, prezzo e prestazioni, distribuzioni ibride e multi-cloud. Per quanto riguarda la sicurezza e l’affidabilità, Confluent ha lavorato per molti anni, forte della sua postura che considera la sicurezza in maniera nativa. Sul fronte del prezzo e delle prestazioni, una delle grandi promesse del cloud è il risparmio sui costi e uno dei sistemi per ottenere questo è offrire un sistema modulare, perché una soluzione unica per tutti non funziona nel caso di Kafka, soprattutto nel cloud. Per esempio, in alcuni casi è necessaria una bassa latenza, in altri un throughput elevato, in altri ancora si tratta semplicemente di spostare i dati da un punto all’altro nel modo più economico possibile.
Secondo Confluent, ogni carico di lavoro merita il cluster giusto al prezzo giusto. Kora permette di offrire la massima flessibilità per i carichi di lavoro, con una scalabilità automatica per prestazioni e funzionalità ottimali per ogni carico di lavoro, dalla piccola azienda alla società di livello enterprise, fino a 7,5 GB/s. Senza escludere i casi in cui non è necessaria una bassa latenza, ma si punta di più sulla grande mole di dati. In tutti questi scenari, il costo è proporzionale al caso d’uso ed esiste perfino una versione gratuita, che supporta un nuovo tipo di rete privata e implementa l’interfaccia nativa di AWS.
Per quanto riguarda le distribuzioni ibride e multi-cloud, le applicazioni sono presenti ovunque e per questo Confluent ha soluzioni per gestire i dati a livello globale. Sono soluzioni disponibili in oltre 100 regioni, con la possibilità di portare i dati da una regione all’altra grazie a cluster cloud che collegano AWS e Azure (presto anche Google Cloud Platform). Questo senza configurare reti, filtri IP né tunneling. Entro il 2025 Confluent presenterà Unified Stream Manager, che darà il controllo dei cluster, indipendentemente da dove si trovano. Unified Stream Manager sarà incluso nella piattaforma Confluent e si connetterà al cloud per la condivisione dei dati.
Apache Flink
Apache Flink, la piattaforma open source e unificata per l’elaborazione di flussi e batch sviluppata dalla Apache Software Foundation, è la chiave per portare le capacità di elaborazione dell’ambiente analitico in quello operativo. Per questo ha successo tra le aziende tecnologicamente più avanzate e che devono gestire grandi quantità di dati in tempo reale, come LinkedIn, Netflix, Uber e Disney+. Queste imprese hanno adottato Flink per elaborare dati su larga scala, in modo fluido, in tutta l’organizzazione e in maniera conveniente.
Flink è così potente perché impiega un runtime unificato che può essere utilizzato dagli sviluppatori per lavorare e modellare i dati alla fonte, durante la produzione in streaming o in batch, in modo da generare dati di alta qualità che riducono la necessità di ulteriori elaborazioni a valle e aumentano le possibilità di un loro riutilizzo. Con Flink, operazioni che prima erano possibili solo in ambito analitico ora sono realizzabili anche in quello operativo.
Confluent è la sola azienda a offrire una soluzione Flink che collega l’ambiente on-premise, il cloud e il multi-cloud. Negli ultimi 12 mesi il marchio ha lavorato per adattare Flink ai diversi utilizzi nelle organizzazioni e ha creato Flink SQL, per sfruttare la potenza di SQL per manipolare i flussi di dati. Più di recente, Confluent ha creato modelli in Flink che possono essere invocati dalle intelligenze artificiali come AWS Bedrock e Google Vertex. Ha inoltre introdotto capacità di ricerca federata per estrarre informazioni aggiuntive dalle principali applicazioni come Databricks, MongoDB, Snowflake, BigQuery, così da ridurre errori e allucinazioni.
Dati, streaming e tabelle
Oggi le aziende sono sempre più dipendenti dal software. Se un tempo le attività umane erano la grande maggioranza, adesso esistono sistemi software che non si limitano a supportare il business, ma gestiscono effettivamente le attività principali, l’interazione con i clienti, la produzione di beni e servizi. I sistemi software non hanno né orari né giorni di riposo, sono sempre attivi e quindi il flusso dei dati di cui hanno bisogno è continuo, anche in tempo reale. Questo porta a una forte accelerazione del business, a tutto vantaggio dell’impresa.
L’arrivo dell’intelligenza artificiale, che in modalità AI agent può operare in autonomia, ha impresso un’ulteriore accelerazione, ampliando enormemente l’ambito in cui un sistema automatico più agire. Quindi il dato assume un ruolo centrale per le applicazioni moderne: i loro sviluppo e validazione sono possibili solo grazie al dato.
Jay Kreps
Lo streaming dei dati è molto potente, soprattutto se i dati sono in forma tabellare, magari completi di uno storico che indichi come sono stati modificati nel tempo. Con un’architettura di questo tipo è facile recuperare i dati storici, anche le loro versioni più vecchie. In effetti, con questo approccio è proprio il flusso relativo alle modifiche dei dati che popola le tabelle. Tutto questo è possibile con Kafka e Tableflow quando lavorano insieme, una sorta di unione tra flussi di dati e tabelle, che rappresenta in maniera efficace l’intero ciclo di vita del dato. Ma questo sistema di dati non ha solo un livello di archiviazione, ha anche un livello di elaborazione. È qui che entra in gioco Flink, che effettivamente unifica i due livelli e rende possibile la gestione non solo dei flussi ma anche dei batch, che sono visti come flussi delimitati nel tempo.
