Lançamento do AMD ROCm 7: Suporte aprimorado ao MI350, novos algoritmos de IA, modelos e recursos avançados com melhoria de desempenho de inferência de 3,5x

A AMD lançou oficialmente o ROCm 7, sua mais recente iteração de tecnologias de pilha de software aberta, projetada para aprimorar os recursos de inteligência artificial (IA) e a produtividade do desenvolvedor.

Apresentando o ROCm 7: Inovações aprimoradas de software aberto com foco em inferência de IA

Com o lançamento do ROCm 7, a AMD marca uma atualização significativa em relação à sua versão anterior, o ROCm 6, que recebeu inúmeras melhorias ao longo dos anos, principalmente em relação à ascensão da computação com IA. Aqui estão alguns dos principais recursos que tornam o ROCm 7 um divisor de águas:

Algoritmos e modelos de ponta
Recursos robustos para escalabilidade de IA
Suporte para a série MI350
Gerenciamento abrangente de clusters
Recursos prontos para empresas

A AMD está dando grande ênfase ao fortalecimento dos recursos de inferência na pilha de software ROCm. O novo ROCm 7 apresenta frameworks avançados, incluindo vLLM v1, llm-d e SGLang. Além disso, introduz otimizações valiosas, como Inferência Distribuída, Preenchimento Prévio e Desagregação, que aprimoram o desempenho e a flexibilidade.

Entre os kernels e algoritmos recém-integrados estão o GEMM Autotuning, o Mixture of Experts (MoE), mecanismos de atenção e a capacidade de criar kernels usando Python. Essas melhorias prometem otimizar o processo de desenvolvimento de aplicações de IA.

Além disso, o ROCm 7 oferece suporte total para tipos de dados avançados, incluindo FP8, FP6, FP4, bem como Precisão Mista, ampliando ainda mais seus recursos para as GPUs da série MI350.

Em termos de desempenho, a AMD destaca que a inferência tem sido o foco principal do ROCm 7, relatando melhorias de desempenho de até 3, 5 vezes para cargas de trabalho de IA. Especificamente, as melhorias incluem um aumento de até 3, 2x para o Llama 3.1 70B, um aumento de 3, 4x para o Qwen2-72B e um impressionante aumento de 3, 8x no desempenho do Deep Seek R1 em comparação com o ROCm 6.

Fonte e Imagens