NVIDIA Blackwell vs AMD MI325X: Os últimos resultados do benchmark de inferência MLPerf mostram que o B200 estabelece recordes enquanto o Instinct compete com o Hopper
A NVIDIA e a AMD revelaram recentemente suas últimas métricas de desempenho para o MLPerf Inference, apresentando suas GPUs avançadas, incluindo a Blackwell B200 e a Instinct MI325X.
NVIDIA Blackwell B200 e AMD Instinct MI325X: os últimos resultados do benchmark de inferência MLPerf
Os benchmarks MLPerf Inference v5.0 recém-lançados destacam avanços significativos, já que ambas as potências de GPU apresentam suas últimas métricas de desempenho de chip. Embora os recursos brutos de GPU sejam cruciais, a otimização efetiva de software e o suporte abrangente para ecossistemas de IA emergentes também desempenham um papel fundamental nesses resultados.
NVIDIA Blackwell alcança desempenho sem precedentes
O inovador sistema GB200 NVL72, que integra 72 GPUs NVIDIA Blackwell para funcionar como uma GPU singular e extensa, atingiu um rendimento excepcional 30 vezes maior no benchmark Llama 3.1 405B em comparação com a entrada anterior NVIDIA H200 NVL8. Essa conquista notável decorre de melhorias de desempenho mais de três vezes maiores por GPU e um domínio de interconexão NVIDIA NVLink substancialmente expandido.
Embora muitas empresas utilizem os benchmarks MLPerf para avaliar o desempenho, apenas a NVIDIA e seus parceiros enviaram resultados referentes ao benchmark Llama 3.1 405B.
Implantações de inferência de produção frequentemente enfrentam desafios de latência com métricas críticas. O primeiro é o tempo para o primeiro token (TTFT), indicando quanto tempo leva para um usuário receber uma resposta de um grande modelo de linguagem. O segundo é o tempo por token de saída (TPOT), que mede a rapidez com que os tokens são entregues aos usuários.
O novo benchmark Llama 2 70B Interactive demonstra melhorias significativas com uma redução de 5x no TPOT e uma diminuição de 4, 4x no TTFT, indicando uma experiência de usuário significativamente mais responsiva. Neste benchmark, a submissão da NVIDIA, alimentada por um sistema NVIDIA DGX B200 com oito GPUs Blackwell, triplicou seu desempenho em relação a uma configuração H200 de oito GPUs, estabelecendo um alto padrão neste teste Llama 2 70B mais desafiador.
Os recursos integrados da arquitetura Blackwell, juntamente com sua estrutura de software otimizada, representam um avanço no desempenho de inferência, permitindo que as fábricas de IA aprimorem a inteligência, aumentem o rendimento e acelerem as taxas de entrega de tokens.
A Green Team, NVIDIA, mais uma vez demonstra seu domínio em desempenho com as mais recentes GPUs Blackwell, notavelmente a série B200. O rack GB200 NVL72 com 72 chips B200 lidera o grupo, gerando um impressionante rendimento de desempenho 30 vezes maior nos benchmarks Llama 3.1 405B em comparação com a geração anterior H200. Além disso, os resultados do benchmark Llama 70B confirmam uma triplicação do desempenho com uma configuração B200 de oito GPUs contra uma configuração H200 de oito GPUs.
Além disso, a AMD apresentou seu mais recente acelerador Instinct MI325X de 256 GB, apresentado em uma configuração x8. Embora os resultados da AMD sejam comparáveis ao sistema H200, a capacidade de memória aprimorada beneficia significativamente os modelos de linguagem grande (LLMs).No entanto, eles ainda ficam atrás do Blackwell B200. Para permanecer competitiva, a AMD precisará manter o ímpeto em suas ofertas de hardware e software, especialmente com a chegada antecipada de sua plataforma Ultra, a B300, no final deste ano.
Além disso, os benchmarks para a série Hopper H200 indicam esforços contínuos de otimização, resultando em um aumento notável de 50 por cento no desempenho de inferência em comparação ao ano passado. Esse aprimoramento é significativo para empresas que estão cada vez mais dependendo dessas plataformas para suas operações.
Deixe um comentário ▼