Lancement d’AMD ROCm 7 : prise en charge MI350 améliorée, nouveaux algorithmes d’IA, modèles et fonctionnalités avancés avec une amélioration des performances d’inférence de 3,5 x

AMD a officiellement lancé ROCm 7, sa dernière itération de technologies de pile logicielle ouverte, conçue pour améliorer à la fois les capacités d’intelligence artificielle (IA) et la productivité des développeurs.

Présentation de ROCm 7 : Innovations logicielles ouvertes améliorées axées sur l’inférence de l’IA

Avec le lancement de ROCm 7, AMD marque une mise à niveau significative par rapport à sa version précédente, ROCm 6, qui a bénéficié de nombreuses améliorations au fil des ans, notamment en lien avec l’essor de l’IA. Voici quelques-unes des fonctionnalités clés qui font de ROCm 7 une révolution :

Algorithmes et modèles de pointe
Fonctionnalités robustes pour l’évolutivité de l’IA
Prise en charge de la série MI350
Gestion complète des clusters
Capacités prêtes pour l’entreprise

AMD met l’accent sur le renforcement des capacités d’inférence au sein de la pile logicielle ROCm. La nouvelle version ROCm 7 intègre des frameworks avancés, notamment vLLM v1, llm-d et SGLang. Elle introduit également des optimisations précieuses telles que l’inférence distribuée, le préremplissage et la désagrégation, qui améliorent les performances et la flexibilité.

Parmi les nouveaux noyaux et algorithmes intégrés figurent l’autoréglage GEMM, le Mixture of Experts (MoE), les mécanismes d’attention et la possibilité de créer des noyaux avec Python. Ces améliorations promettent de simplifier le processus de développement des applications d’IA.

Image des fonctionnalités de l'AMD ROCm 7

De plus, ROCm 7 apporte une prise en charge complète des types de données avancés, notamment FP8, FP6, FP4, ainsi que Mixed Precision, étendant encore ses capacités pour les GPU de la série MI350.

Côté performances, AMD souligne que l’inférence a été au cœur des préoccupations de ROCm 7, avec des gains de performances jusqu’à 3, 5 fois supérieurs pour les charges de travail d’IA. Plus précisément, ces améliorations incluent une multiplication par 3, 2 pour Llama 3.1 70B, une multiplication par 3, 4 pour Qwen2-72B et une impressionnante multiplication par 3, 8 pour Deep Seek R1 par rapport à ROCm 6.

Source et images