Oracle Cloud Infrastructure (OCI) ha installato gli acceleratori AMD Instinct MI300X con il software aperto ROCm per alimentare la novità Compute Supercluster BM.GPU.MI300X.8. Per i modelli di AI capaci di gestire centinaia di miliardi di parametri, OCI Supercluster con AMD MI300X supporta fino a 16.384 GPU in un singolo cluster sfruttando la stessa tecnologia di rete ultraveloce utilizzata da altri acceleratori OCI.
OCI Supercluster installa AMD Instinct MI300X
Le unità sono progettate per l’esecuzione di carichi di lavoro impegnativi nel campo dell’AI. Come l’inferenza e l’addestramento di modelli linguistici di grandi dimensioni (LLM) che richiedono un throughput elevato con una capacità di memoria e una larghezza di banda di prim’ordine. Le unità OCI bare metal sono già state adottate da aziende come Fireworks AI.
Più efficienza e flessibilità
Andrew Dieckmann, Corporate Vice President e General Manager, Data Center GPU Business, AMD AMD Instinct MI300X e l’open software ROCm continuano a crescere come soluzioni affidabili per l’alimentazione dei carichi di lavoro OCI AI più critici. Con l’ulteriore espansione di queste soluzioni nei mercati ad alta integrazione dell’AI, la combinazione di queste tecnologie porterà ai clienti OCI performance elevate ed efficienza. Oltre a una maggiore flessibilità nella progettazione dei loro sistemi.
Donald Lu, Senior Vice President, Software Development, Oracle Cloud Infrastructure Le capacità di inferenza degli acceleratori AMD Instinct MI300X si aggiungono all’ampia selezione di unità bare metal ad alte prestazioni. Soluzione che OCI offre per eliminare l’overhead del calcolo virtualizzato, comunemente utilizzato per le infrastrutture AI. Siamo entusiasti di offrire una più ampia scelta agli utenti che desiderano accelerare i carichi di lavoro AI a un prezzo competitivo.
Prestazioni affidabili e libertà di scelta
AMD Instinct MI300X è stato sottoposto a test approfonditi, convalidati da OCI. Questi test hanno evidenziato le sue capacità di inferenza e addestramento dell’AI volte a soddisfare casi d’uso ottimali dal punto di vista della latenza anche con batch di grandi dimensioni. Oltre alla capacità di integrare modelli LLM più ampi in un singolo dispositivo. I risultati delle prestazioni di Instinct MI300X hanno attirato l’attenzione degli sviluppatori di modelli di intelligenza artificiale.
AMD Instinct MI300X
Fireworks AI offre una piattaforma veloce, progettata per sviluppare e implementare l’intelligenza artificiale generativa. Tecnologia che, con oltre 100 modelli, sfrutta i vantaggi delle prestazioni OCI grazie a AMD Instinct MI300X.
Lin Qiao, CEO di Fireworks AI Fireworks AI aiuta le imprese a sviluppare e distribuire sistemi di AI complessi in un’ampia gamma di settori e casi d’uso. La quantità di memoria disponibile in AMD Instinct MI300X e nell’open software ROCm ci permettono di scalare i servizi per i nostri clienti mentre i modelli continuano a crescere.
