Lancio di AMD ROCm 7: supporto MI350 migliorato, nuovi algoritmi di intelligenza artificiale, modelli e funzionalità avanzati con prestazioni di inferenza migliorate di 3,5 volte

AMD ha lanciato ufficialmente ROCm 7, la sua ultima versione di tecnologie open software stack, progettata per migliorare sia le capacità dell’intelligenza artificiale (IA) sia la produttività degli sviluppatori.

Presentazione di ROCm 7: innovazioni software aperte e migliorate con particolare attenzione all’inferenza dell’IA

Con il lancio di ROCm 7, AMD segna un significativo aggiornamento rispetto alla sua versione precedente, ROCm 6, che ha ricevuto numerosi miglioramenti nel corso degli anni, in particolare in relazione all’ascesa dell’intelligenza artificiale. Ecco alcune delle caratteristiche chiave che rendono ROCm 7 un punto di svolta:

Algoritmi e modelli all’avanguardia
Funzionalità robuste per la scalabilità dell’IA
Supporto per la serie MI350
Gestione completa dei cluster
Funzionalità pronte per l’uso aziendale

AMD pone particolare attenzione al potenziamento delle capacità di inferenza all’interno dello stack software ROCm. Il nuovo ROCm 7 include framework avanzati, tra cui vLLM v1, llm-d e SGLang. Inoltre, introduce preziose ottimizzazioni come Distributed Inference, Prefill e Disaggregation, che migliorano prestazioni e flessibilità.

Tra i kernel e gli algoritmi recentemente integrati figurano GEMM Autotuning, Mixture of Experts (MoE), meccanismi di attenzione e la possibilità di creare kernel in Python. Questi miglioramenti promettono di semplificare il processo di sviluppo per le applicazioni di intelligenza artificiale.

Immagine delle caratteristiche di AMD ROCm 7

Inoltre, ROCm 7 offre il supporto completo per tipi di dati avanzati, tra cui FP8, FP6, FP4 e Mixed Precision, estendendo ulteriormente le sue capacità per le GPU della serie MI350.

In termini di prestazioni, AMD sottolinea che l’inferenza è stata un obiettivo primario di ROCm 7, segnalando miglioramenti prestazionali fino a 3, 5 volte per i carichi di lavoro di intelligenza artificiale. Nello specifico, i miglioramenti includono un aumento fino a 3, 2 volte per Llama 3.1 70B, un aumento di 3, 4 volte per Qwen2-72B e un impressionante aumento di 3, 8 volte delle prestazioni per Deep Seek R1 rispetto a ROCm 6.

Fonte e immagini