NVIDIA HGX B200 da Super Micro Computer atinge mais de 3X tokens por segundo para benchmarks Llama2-70b e Llama3.1-405b em comparação com sistemas H200 de 8 GPUs

Observe que este conteúdo não constitui aconselhamento de investimento. O autor não detém posições nas ações discutidas aqui.

A resiliência do Super Micro Computer no mercado de tecnologia

Apesar da turbulência que afeta o setor de tecnologia, a Super Micro Computer (NASDAQ: SMCI) conseguiu aumentar 6% este ano. Este desempenho é notável, especialmente porque as principais empresas enfrentam desafios no cenário econômico atual. Recentemente, o Goldman Sachs reconheceu a SMCI como a “ação de melhor desempenho” na categoria de hardware. Em mais uma demonstração de inovação, a Super Micro anunciou um avanço significativo nas capacidades de IA de seus sistemas alimentados pela GPU B200 da NVIDIA.

Anúncio de liderança em desempenho de IA

A Super Micro agora está anunciando seus “sistemas 4U resfriados a líquido e 10U resfriados a ar” como superdesempenho, alegando que eles geram mais de três vezes mais tokens por segundo (Token/s) para os benchmarks Llama2-70B e Llama3.1-405B quando comparados aos sistemas H200 de 8 GPUs. Esse salto no desempenho é uma prova do comprometimento da empresa com o avanço da tecnologia de IA.

“Dentro da margem operacional, o sistema B200 refrigerado a ar da Supermicro apresentou o mesmo nível de desempenho que o sistema B200 refrigerado a líquido.”

Tecnologias inovadoras de resfriamento

Os mais recentes sistemas NVIDIA HGX B200 da Super Micro são projetados com tecnologias avançadas de resfriamento, incluindo placas frias recém-projetadas e uma unidade de distribuição de refrigerante de 250 kW. Este design inovador emprega coletores verticais de distribuição de refrigerante, maximizando a eficiência do espaço do rack. Como resultado, ele pode acomodar **oito sistemas** com um total de **64 GPUs NVIDIA Blackwell** em um **rack de 42U**, ou até mesmo **12 sistemas** com **96 GPUs NVIDIA Blackwell** em um **rack de 52U**.

“O novo sistema 10U NVIDIA HGX B200 refrigerado a ar apresenta um chassi redesenhado com espaço térmico expandido para acomodar oito GPUs Blackwell TDP de 1000 W. Até 4 dos novos sistemas 10U refrigerados a ar podem ser instalados e totalmente integrados em um rack, a mesma densidade da geração anterior, ao mesmo tempo em que fornecem até 15x de inferência e 3x de desempenho de treinamento.”

Compreendendo a medição da altura do servidor

Para quem não conhece, a medida “U” se refere à altura do servidor, onde 1U equivale a 1, 75 polegadas.

Mudança estratégica da Apple

Em um desenvolvimento recente, a Loop Capital revelou que a Apple está fazendo sua entrada no “grande mercado de cluster de servidores Gen AI”.Essa mudança estratégica vem em resposta aos desafios recentes, particularmente em torno da Siri, empurrando a empresa para as GPUs comerciais da NVIDIA.

“A AAPL [Apple] está no processo de fazer pedidos de ~US$ 1, 0 bilhão de GB300NVL72 (ou ~250 servidores a US$ 3, 7 milhões – US$ 4, 0 milhões cada), compostos por SMCI [Super Micro Computer] e DELL.”

Este pedido substancial representa um sucesso significativo para a Super Micro Computer e a Dell, que atualmente são fornecedores líderes no crescente mercado de racks de servidores de IA.

Fonte e Imagens