Intelligenza artificiale, NVIDIA esamina le immagini create
I modelli Blueprints offrono un modo strutturato per immergersi nella creazione di immagini fornendo una pipeline di lavoro che può essere adattata a esigenze specifiche.
NVIDIA AI Blueprint è stato creato per l’intelligenza artificiale generativa 3D e promette flussi di lavoro più veloci garantendo risultati migliori.
La generazione di immagini da parte dell’intelligenza artificiale è progredita a un ritmo notevole. Passando dai primissimi esempi di modelli che creavano immagini di esseri umani con qualche dito di troppo, fino ad arrivare alla produzione di immagini fotorealistiche. Nonostante questi enormi progressi, permane ancora un obiettivo: raggiungere il controllo creativo.
La creazione di scene utilizzando il testo è diventata più semplice, non richiede più descrizioni complesse e i modelli hanno migliorato l’allineamento ai prompt. Ma descrivere dettagli più complessi come la composizione, gli angoli di ripresa e il posizionamento degli oggetti con il solo testo è molto difficile. E fare aggiustamenti è ancora più complesso.
L’utilizzo di workflow avanzati come ControlNets, strumenti che migliorano la generazione dell’immagine fornendo un maggiore controllo sull’output del testo, fornisce delle buone soluzioni. Ma la loro complessità di impostazione ne limita la più ampia accessibilità.
Per poter far fronte a tutte queste sfide e poter avere un accesso rapido a tutte le potenzialità avanzate dell’Intelligenza Artificiale, NVIDIA aveva già presentato al CES di quest’anno NVIDIA AI Blueprints per l’AI generativa 3D per PC RTX. Questo workflow molto semplice basato su modelli predefiniti include tutto il necessario per poter generare immagini con il pieno controllo della composizione. Già a partire da oggi gli utenti possono scaricare il nuovo Blueprint.
Sfruttare il 3D per controllare le immagini generate dall’IA
I Blueprints NVIDIA AI per l’AI generativa 3D permettono di controllare la creazione dell’immagine utilizzando una bozza della scena in 3D su Blender per fornire una mappa di profondità al generatore di immagini – utilizzando FLUX.1-dev, di Black Forest Labs — che insieme alla richiesta dell’utente, genera le immagini desiderate.
La mappa di profondità aiuta il modello di immagine a capire dove dovrebbero essere posizionati gli oggetti. Il vantaggio di questa tecnica è che non richiede oggetti molto dettagliati o texture di alta qualità, poiché saranno convertiti in scala di grigi. E poiché gli oggetti sono in 3D, gli utenti possono facilmente spostare gli oggetti e cambiare gli angoli di visuale.
Dietro ai Blueprints c’è ComfyUI, un tool potenziato che permette ai creator di combinare modelli generativi di intelligenza artificiale in modi interessanti. Per esempio, il plug-in ComfyUI Blender, permette agli utenti di connettere Blender a ComfyUI. In aggiunta, i microservizi NVIDIA NIM permettono agli utenti di utilizzare il modello FLUX.1-dev ed eseguirlo con le migliori prestazioni sulle GPU GeForce RTX. Sfruttando quindi il kit di sviluppo software NVIDIA TensorRT e i formati ottimizzati come FP4 e FP8. NVIDIA AI Blueprints per l’AI generativa 3D richiede una GPU NVIDIA GeForce RTX 4080 o una di potenza maggiore.
Una base precostituita per i flussi di lavoro dell’IA generativa
Blueprint per l’AI generativa 3D include tutto il necessario per iniziare con un workflow avanzato per la generazione di immagini. Overo Blender, ComfyUI, il plug-in Blender per connetterli, il microservizio NIM FLUX.1-dev e il tool ComfyUI necessario per farlo funzionare. Per gli artisti dell’intelligenza artificiale, viene fornito anche un programma di installazione e istruzioni dettagliate per la distribuzione.
I modelli Blueprints offrono un modo strutturato per immergersi nella creazione di immagini. Fornendo una pipeline di lavoro che può essere adattata a esigenze specifiche. La documentazione che guida step-by-step, gli asset di esempio e un ambiente preconfigurato forniscono una solida base che rende il processo creativo più gestibile e garantisce risultati migliori.
Per gli sviluppatori dell’IA, i blueprints possono fungere da base per la costruzione di pipeline simili o per l’espansione di quelle esistenti. Per poter iniziare ad utilizzarlo, viene fornito con un codice sorgente, una documentazione e un esempio da seguire.
La generazione Real-time potenziata da RTX AI
Blueprint AI lavora su PC NVIDIA RTX AI e workstations, sfruttando i recenti progressi in termini di prestazioni dell’architettura NVIDIA Blackwell.
Il microservizio NIM FLUX.1-dev incluso nel blueprint per l’AI generativa 3D è ottimizzato grazie a TensorRT e quantizzato con precisione FP4 per la GPU Blackwell. Consentendo un’inferenza più che raddoppiata sull’ultimo PyTorch FP16.
Per gli utenti dotati di GPU NVIDIA Ada Lovelance , il microservizio NIM FLUX.1 viene fornito con la variante FP8, accelerato anche grazie a TensorRT. Questi miglioramenti permettono workflow più accessibili ad alte prestazioni per una rapida iterazione e sperimentazione. La quantizzazione permette, inoltre, di lavorare sui modelli con meno VRAM. Per esempio, con FP4, le dimensioni del modello sono ridotte di più di 2 volte rispetto al modello FP16.
Personalizza e crea con RTX AI
Attualmente sono disponibili 10 microservizi NIM per RTX. Questi supportano casi d’uso che spaziano dalle creazioni di immagini e linguaggi IA del parlato alla computer vision, ma altri blueprint e servizi sono in arrivo.
Ogni settimana l’appuntamento RTX AI Garage presenta innovazioni e contenuti sull’intelligenza artificiale guidati dalla community per coloro che desiderano saperne di più sui microservizi NIM e sui Blueprint di IA,. Oltre che per costruire AI Agent, workflow creativi, umani digitali, applicazioni di produttività e altro ancora su PC e workstation AI.
