Cloudera: dati organizzati per l’intelligenza artificiale

L’architettura dati di Cloudera è la base per applicazioni di intelligenza artificiale tra cui chatbot, sintesi documentale e generazione di codice.

intelligenza artificiale

Il 25 luglio Fabio Pascali, Regional Vice President Italy, Greece & Cyprus di Cloudera, ha incontrato la stampa per parlare delle ultime novità dell’azienda, una data company per l’intelligenza artificiale di livello enterprise, che gestisce il 25% dei dati a livello mondiale, pari a più di 25 milioni di TB.

Cloudera offre un open data lakehouse ibrido, organizzato in un’unica piattaforma (Cloudera Data Platform) basata su Apache Iceberg (un formato tabulare open-source ad alte prestazioni per vaste tabelle analitiche), in grado di portare analytics e AI ai dati aziendali, on-premise e in più cloud diversi, fornendo al contempo governance e sicurezza unificate. Questo open data lakehouse con un’architettura aperta e scalabile è la base per la creazione di applicazioni AI tra cui chatbot, sintesi documentale e generazione di codice. Il marchio consente ai clienti di gestire i dati durante l’intero ciclo di vita, semplificandone l’utilizzo con LLM.

Fabio Pascali, Regional Vice President Italy, Greece & Cyprus di Cloudera
Con la diffusione dell’intelligenza artificiale generativa, è sempre più evidente l’importanza di avere dati affidabili, dal momento che gli insight generati dall’AI sono tanto potenti quanto i dati che la alimentano.

L’intelligenza artificiale per l’enterprise: gli assistenti AI

Le aziende faticano a sviluppare rapidamente applicazioni basate su dati, analytics e AI e a tradurre il potenziale dell’intelligenza artificiale affinché abbia un impatto misurabile sul business. Per questo Cloudera offre i suoi assistenti AI, che velocizzano il processo di messa in produzione di dati, analisi e applicazioni AI affidabili, per consentire a un maggior numero di persone di accedere a questi strumenti.

cloud

È recente la presentazione da parte di Cloudera di tre nuovi assistenti AI:

  • SQL AI Assistant: realizzato per risolvere le sfide associate alla scrittura di query SQL complesse, consente agli utenti di tutta l’organizzazione di acquisire competenze avanzate in SQL. Gli utenti devono semplicemente descrivere ciò di cui hanno bisogno in linguaggio naturale e l’assistente SQL AI troverà i dati pertinenti utilizzando tecniche avanzate come prompt engineering e retrieval augmented generation (RAG). L’assistente, inoltre, scrive e ottimizza la query, illustrandola in termini facilmente comprensibili
  • Chatbot AI all’interno di Cloudera Data Visualization: progettato per dialogare direttamente con i dati aziendali, al fine di fornire approfondimenti contestualizzati sul business, che vanno al di là di ciò che i cruscotti di BI possono visualizzare. Il chatbot risiede direttamente nella dashboard e nei report creati con Cloudera Data Visualization e sfrutta il contesto dei dati disponibili dietro la dashboard per fornire alle aziende insight più profondi e fruibili. Gli utenti devono semplicemente porre domande in linguaggio naturale e il chatbot AI le abbina ai dati e alle immagini pertinenti
  • Cloudera Copilot per Cloudera Machine Learning: alimentato da LLM pre-addestrati e progettati per superare le sfide legate all’implementazione di modelli AI e ML in produzione, dalla gestione dei dati alla codifica. Grazie all’integrazione con oltre 130 modelli e dataset di Hugging Face, Cloudera Copilot supporta il processo di sviluppo end-to-end delle applicazioni AI e accelera le attività dei data scientist, lo sviluppo dei modelli e la loro messa a punto

Per ampliare ulteriormente le proprie competenze nel campo dell’intelligenza artificiale, Cloudera ha acquisito nel giugno di quest’anno la piattaforma di AI operativa di Verta, assorbendo il team di esperti nel suo gruppo specializzato nel machine learning.

La tecnologia di Verta semplifica il processo di trasformazione dei dataset in applicazioni personalizzate di retrieval augmented generation, consentendo a qualsiasi sviluppatore – indipendentemente dal suo livello di esperienza nell’apprendimento automatico – di creare e ottimizzare modelli linguistici di grandi dimensioni pronti per il business. Il sistema affronta uno dei maggiori ostacoli all’implementazione dell’intelligenza artificiale, consentendo alle aziende di costruire, rendere operativi, monitorare, proteggere e scalare efficacemente modelli in tutta l’azienda.

artificial intelligence

L’indagine Data Architecture and Strategy in the AI Era

Foundry Media ha condotto per conto di Cloudera l’indagine Data Architecture and Strategy in the AI Era, intervistando oltre 600 tra data leader e decision maker IT (in Nord America, EMEA e APAC, appartenenti a società con un fatturato annuo maggiore di 500 milioni di dollari o con più di 1.000 dipendenti). I temi sono stati il livello di sviluppo delle moderne architetture dati e come l’ascesa dell’intelligenza artificiale stia impattando sulle strategie dei dati. L’indagine ha rivelato che il 90% dei leader IT ritiene che l’unificazione del ciclo di vita dei dati su un’unica piattaforma sia fondamentale per gli analytics e l’AI.

I responsabili IT intervistati hanno ammesso di aver incontrato non pochi ostacoli nel percorso di implementazione dell’AI. Le difficoltà sono dovute a diverse cause, con le principali che sono:

  • La qualità e la disponibilità dei dati (36%)
  • Le sfide legate a scalabilità e implementazione (36%)
  • L’integrazione con i sistemi esistenti (35%)
  • La gestione del cambiamento (34%)
  • La trasparenza dei modelli (34%)

Secondo gli intervistati, per superare questi ostacoli è necessario organizzare in maniera moderna, unificata e versatile i dati. Più in dettaglio:

  • Una moderna architettura dei dati basata sulla strategia aziendale. La chiave per un’architettura dei dati moderna è un’unica piattaforma di dati che funzioni senza soluzione di continuità su infrastrutture cloud pubbliche e on-premise. Per quanto riguarda i vantaggi delle moderne architetture di dati, le risposte più popolari sono state la semplificazione dei processi di dati/analisi (40%), seguita dalla flessibilità nella gestione di tutti i tipi di dati (38%)
  • Gestione unificata dei dati. Le organizzazioni di oggi hanno bisogno di tecnologie di gestione cloud flessibili e scalabili che forniscano gli strumenti per trasformare le informazioni in approfondimenti. Per quanto riguarda i fattori che ostacolano la gestione dei dati end-to-end necessaria per lo sviluppo di modelli di AI, il 62% degli intervistati ha dichiarato che si tratta del volume e della complessità dei dati, il 56% della sicurezza dei dati e il 52% della governance e della conformità
  • Piattaforme dati versatili e sicure. In una prospettiva a lungo termine, un approccio ibrido alla gestione dei dati che includa sia infrastrutture on-premise sia cloud pubblico è la strategia preferita. Il 93% degli intervistati concorda sul fatto che le funzionalità multicloud/ibride per i dati e gli analytics sono fondamentali per consentire a un’organizzazione di adattarsi al cambiamento