Red Hat Enterprise Linux AI è la piattaforma di modelli di base per lo sviluppo, il test e l’esecuzione di modelli di GenAI in ambito aziendale.
RHEL AI 1.3 supporta le ultime evoluzioni nella famiglia di modelli linguistici di grandi dimensioni (LLM) Granite e integra miglioramenti open source per la preparazione dei dati, mantenendo al contempo un’ampia scelta per le implementazioni hybrid cloud, inclusa l’architettura di elaborazione accelerata sottostante.
RHEL AI costituisce un pilastro fondamentale della visione di Red Hat sull’AI e unisce la famiglia di mo-delli open source Granite con gli strumenti di allineamento dei modelli InstructLab, basati su metodo-logia LAB (Large-scale Alignment) per i chatBot. Questi componenti sono offerti come un’immagine Red Hat Enterprise Linux ottimizzata e avviabile per implementazioni su singoli server in qualsiasi punto dell’hybrid cloud.
Supporto per gli LLM Granite 3.0
RHEL AI 1.3 estende l’impegno di Red Hat verso gli LLM Granite con il supporto per Granite 3.0 8b per i casi d’uso in lingua inglese. Granite 3.0 8b è un modello convergente, che supporta la genera-zione di codice e la chiamata di funzioni sia in inglese che in numerose altre lingue. I casi d’uso in lingue diverse dall’inglese, così come il codice e le funzioni, sono disponibili come anteprima per gli sviluppa-tori all’interno di RHEL AI 1.3, con l’obiettivo di supportare queste funzionalità anche in altre lingue nel-le future versioni di RHEL AI.
Preparazione semplificata dei dati con Docling
Recentemente reso open source da IBM Research, Docling è un progetto upstream che aiuta ad analiz-zare i formati di documenti comuni e a convertirli in formati come Markdown e JSON, preparando questi contenuti per le applicazioni e l’addestramento dell’AI generativa. RHEL AI 1.3 ora integra questa in-novazione come funzionalità supportata, consentendo agli utenti di convertire i PDF in Markdown per una più semplice ingestione dei dati per la regolazione del modello con Instruc-tLab.
Grazie a Docling, RHEL AI 1.3 ora include anche un chunking context-aware, che tiene conto della strut-tura e degli elementi semantici dei documenti utilizzati per l’addestramento dell’AI generativa. Ciò aiuta rendere le applicazioni di AI generativa più coerenti e a sviluppare risposte più appropriate per il conte-sto e le attività, senza necessità di ulteriori aggiustamenti.
Le future versioni di RHEL AI continueranno a supportare e perfezionare i componenti di Docling, inclu-si altri formati di documenti e l’integrazione per le pipeline RAG (Retrieval-Augmented Generation), al-lineandoli alle conoscenze di InstructLab.
Ampliamento dell’ecosistema dell’AI generativa
La libertà di scelta è una componente fondamentale dell’hybrid cloud e deve essere offerta per le appli-cazioni di AI generativa a partire dalle architetture di chip sottostanti, proprio per assicurare che la Gen AI possa mantenere la sua peculiarità di carico di lavoro distintivo per gli ambienti ibridi. RHEL AI sup-porta già i principali acceleratori di NVIDIA e AMD e la versione 1.3 ora include Intel Gaudi 3 come anteprima tecnologica.
Oltre all’architettura dei chip, RHEL AI è supportato dai principali cloud provider, tra cui AWS, Google Cloud e Microsoft Azure come offerta “bring your own subscription” (BYOS). La piattaforma sarà presto disponibile anche come soluzione ottimizzata e convalidata su Azure Marketplace e AWS Marketplace.
RHEL AI è disponibile come piattaforma di modelli di base preferita sulle offerte hardware accelerate dei partner Red Hat, inclusi i server Dell PowerEdge R760xa e i server Lenovo ThinkSystem SR675 V3.
Miglioramenti al model serving con Red Hat OpenShift AI
Per rispondere all’esigenza di scalabilità dei servizi degli LLM, Red Hat OpenShift AI ora supporta il ser-vizio parallelizzato su più nodi con runtime vLLM, fornendo la capacità di gestire più richieste in tempo reale. Red Hat OpenShift AI consente inoltre agli utenti di modificare dinamicamente i parametri di un LLM durante il servizio, come lo sharding del modello su più GPU o la quantizzazione del modello a un footprint più piccolo. Questi miglioramenti mirano ad accelerare i tempi di risposta per gli utenti, au-mentando la soddisfazione dei clienti e riducendo il churn.
Supporto per Red Hat AI
Insieme a Red Hat OpenShift AI, RHEL AI è alla base di Red Hat AI, il portfolio di soluzioni di Red Hat che accelera il time to market e riduce i costi operativi per la fornitura di soluzioni di AI nel cloud ibrido. RHEL AI supporta i singoli ambienti server Linux, mentre Red Hat OpenShift AI alimenta gli ambienti di piattaforma Kubernetes distribuiti e fornisce funzionalità integrate di MLOps (Machine Learning Opera-tions). Entrambe le soluzioni sono compatibili tra loro, con Red Hat OpenShift AI che incorporerà tutte le funzionalità di RHEL AI per un’erogazione su larga scala.
