Confluent: i Data Streaming Engineer per i flussi di dati

A margine dell’evento Current London 2025, che Confluent ha dedicato agli sviluppatori di data streaming, abbiamo avuto modo di parlare con Tim Berglund, VP Developer Relations, che ci ha descritto le strategie del marchio per migliorare il business delle società clienti e le problematiche relative alle evoluzioni più recenti del software, in particolare il cloud e l’intelligenza artificiale. Il tutto con un occhio di riguardo alla comunità degli sviluppatori.

La visione a lungo termine di Confluent per l’evoluzione del data streaming

Tim Berglund
L’elaborazione dei dati, intesa come lavorazione batch, è vecchia quanto l’informatica digitale. Anzi, si potrebbe dire che l’informatica è nata con l’elaborazione batch. L’obiettivo di Confluent è rendere lo streaming di dati onnipresente e semplice da gestire come è stato per l’elaborazione dei dati in batch. Una sorta di unione tra streaming e batch, tra analisi e operatività.

Per ottenere questo risultato è necessario approntare una piattaforma di streaming, e Apache Kafka è la soluzione perfetta per questo scopo. Kafka è molto diffuso e si pone come un substrato per i dati, sia in ambiente analitico sia in quello operativo. Ma Kafka non governa i dati né li elabora, in pratica si limita a trasferirli e a renderli disponibili in maniera estremamente veloce ed efficiente. Per fare i calcoli sui dati in streaming serve un altro strumento: Flink, che si integra perfettamente in Kafka.

Confluent prosegue nella sua ricerca per l’ottimizzazione dello streaming dei dati e per dare sempre più valore alle informazioni. Con Tableflow l’azienda ha posto l’accento sulle tabelle, popolate con il flusso dei dati e delle informazioni relative alla loro evoluzione. Questi strumenti sono una solida base per un’evoluzione che renderà lo streaming sempre migliore, utilizzabile anche in modalità batch tramite gli snapshot.

Come Confluent si differenzia dalle soluzioni open source Apache Kafka

Confluent offre una soluzione completa e integrata, basata sulla piattaforma Apache Kafka, che consente l’elaborazione dei flussi, la governance dei dati, l’integrazione tramite Kafka Connect. A tutto questo si aggiunge il flusso tabellare con Tableflow, che permette di avere dati organizzati in tabelle, un formato molto comodo ed efficace per avere informazioni ben organizzate e fruibili.

Il marchio ha poi sviluppato Kora, il motore Apache Kafka progettato in maniera specifica per il cloud. Si tratta di una soluzione veramente cloud native, che offre agli sviluppatori e agli utenti finali le stesse funzioni di elasticità, storage e computing caratteristiche di Kafka. Considerando che Kafka, con i suoi quindici anni di vita, è nato quando le architetture cloud native erano ancora in embrione, Kora rappresenta un’evoluzione naturale che garantisce vantaggi concreti in termini di costi e prestazioni.

L’impatto che l’AI può avere sul lavoro di uno sviluppatore

Oggi buona parte delle righe di codice è scritta dall’intelligenza artificiale, è inutile negarlo. Naturalmente esistono anche settori dove la programmazione richiede l’intervento esclusivo di una persona esperta, e molto spesso il codice scritto dall’AI non è ottimizzato. Ma l’intelligenza artificiale generativa è ormai uno strumento troppo potente per essere ignorato.

Confluent sta creando un programma di certificazione per i Data Streaming Engineer, certificazione che sarà integrata in Confluent Developer, studiato per lo sviluppo di competenze nei settori front-end e back-end. Si tratta di applicazioni di base, molto convenzionali, che si prestano bene all’impiego dell’AI generativa.

Uno sviluppatore aziendale specializzato in Kafka o nei prodotti di Confluent può naturalmente usare l’intelligenza artificiale per scrivere il codice, ma in realtà è più che altro un problema di dati. L’AI generativa si basa infatti su un LLM, che a sua volta richiede una grande quantità di dati. Un’ottima soluzione per disporre di questi dati è proprio lo streaming.

Promuovere una cultura di sviluppo dello streaming di dati

Confluent ha istituito un programma di formazione e certificazione per creare specialisti nello streaming di dati. Il già citato corso per i Data Streaming Engineer ne è un esempio. Questa formazione è sempre più importante, perché ormai è evidente che lo streaming dei dati è qui per rimanere e richiede nuove qualifiche professionali, che saranno sempre più richieste dalle imprese che adottano Kafka e tutte le soluzioni che Confluent offre.

Non importa se si considera lo streaming più dal lato applicativo oppure più centrato sulla pipeline dati. Tradizionalmente questi due ambiti sono sempre stati molto separati, ma con Kafka, Flink, Connect e le soluzioni di governance dei dati e dei flussi è necessario un set fondamentale di competenze, che serve a tutti gli specialisti dello streaming di dati.

Proprio per questo il marchio ha creato la certificazione per il Data Streaming Engineer (ancora in fase di sperimentazione), per gettare le basi di queste competenze e creare una figura importante in questo settore. Del resto, da tempo esistono e sono affermate le figure del data scientist e del data engineer: dal punto di vista del brand, sono sempre data streaming engineer, con specializzazioni diverse.

A giudicare dal successo dei corsi su Kafka, Flink e streaming si può affermare che le tecnologie su cui Confluent basa il suo business si diffonderanno e avranno sempre più successo. Sempre più specialisti in programmazione per le aziende sono interessati ad apprendere l’uso delle soluzioni del marchio.

Arrivare per la tecnologia, restare per la comunità

L’azienda giudica fondamentale non solo la diffusione delle conoscenze relative allo streaming di dati ma anche la creazione di una comunità di esperti e di sviluppatori. Questa comunità già esiste e Confluent è al lavoro per continuare a coltivarla a livello globale. Una comunità che sia accogliente verso le nuove persone e paziente con le loro domande.

Tim Berglund
L’ambito in cui Confluent opera è nuovo e richiede competenze nuove, che gli sviluppatori stanno imparando per la prima volta. Molti lamentano difficoltà nell’elaborazione dei flussi, nella comprensione di un’architettura basata su eventi. Queste difficoltà sono normali, perché la maggior parte degli studenti ha esperienze pregresse nella programmazione tradizionale, incentrata su monoliti e architetture di tipo client-server. Ci troviamo in un periodo caratterizzato da un cambio di paradigma, e chi si avvicina per la prima volta allo streaming sente di avere bisogno di aiuto, un aiuto che può arrivare dalla comunità.