O supercomputador Frontier com tecnologia AMD usa 3K de suas GPUs MI250X de 37K para atingir uma impressionante execução de LLM de 1 trilhão de parâmetros, comparável ao ChatGPT-4

O supercomputador Frontier com tecnologia AMD e GPUs Instinct MI250X alcançou uma execução LLM de 1 trilhão de parâmetros, rivalizando com o ChatGPT-4.

O supercomputador Frontier estabelece novos recordes no espaço de treinamento LLM, cortesia das CPUs EPYC da AMD e da AMD. GPUs de instinto

O supercomputador Frontier é o supercomputador líder mundial e a única máquina Exascale em operação atualmente. Esta máquina é alimentada por EPYC & Hardware Instinct que não apenas oferece o melhor desempenho de HPC, mas também é o segundo supercomputador mais eficiente do planeta revelou que o supercomputador Frontier atingiu a capacidade de treinar um trilhão de parâmetros por meio de “ajuste de hiperparâmetros”, estabelecendo uma nova indústria referência.Arxiv. Um relatório enviado por indivíduos sobre o

Antes de entrarmos no ponto crucial, vamos recapitular rapidamente o que o supercomputador Frontier contém. O supercomputador da ORNL foi projetado desde o início com CPUs EPYC Trento de 3ª geração da AMD e aceleradores de GPU Instinct MI250X. Está instalado no Laboratório Nacional de Oak Ridge (ORNL) no Tennessee, EUA, onde é operado pelo Departamento de Energia (DOE). Atualmente atingiu 1.194 Exaflop/s usando 8.699.904 núcleos. A arquitetura HPE Cray EX combina CPUs AMD EPYC de 3ª geração otimizadas para HPC e IA, com aceleradores AMD Instinct 250X e uma interconexão Slingshot-11. A Frontier conseguiu manter o primeiro lugar na lista de supercomputadores do Top500.org, mostrando seu domínio.

Os novos recordes alcançados pela Frontier são resultado da implementação de estratégias eficazes para treinar LLMs e usar o hardware integrado de forma mais eficiente. A equipe conseguiu alcançar resultados notáveis por meio de testes extensivos de parâmetros de 22 bilhões, 175 bilhões e 1 trilhão, e os números obtidos são resultado da otimização e do ajuste fino do processo de treinamento do modelo. Os resultados foram alcançados com o emprego de até 3.000 aceleradores MI250X AI da AMD, que mostraram sua habilidade apesar de serem uma peça de hardware relativamente desatualizada.

O que é mais interessante é que todo o supercomputador Frontier abriga 37.000 GPUs MI250X, então podemos imaginar o tipo de desempenho ao usar todo o conjunto de GPUs para alimentar LLMs. A AMD também está prestes a implementar seus aceleradores GPU MI300 em novos supercomputadores com um robusto ecossistema ROCm 6.0 que acelera ainda mais o desempenho da IA.

Para parâmetros de 22 bilhões, 175 bilhões e 1 trilhão, alcançamos taxas de transferência de GPU de 38,38%, 36,14% e 31,96%, respectivamente. Para o treinamento do modelo de parâmetros de 175 bilhões e do modelo de parâmetros de 1 trilhão, alcançamos 100% de eficiência de escalonamento fraca em GPUs 1024 e 3072 MI250X, respectivamente. Também alcançamos fortes eficiências de escala de 89% e 87% para esses dois modelos.

–Arvix

Fonte de notícias: Arvix

O supercomputador Frontier com tecnologia AMD usa 3K de suas GPUs MI250X de 37K para atingir uma impressionante execução de LLM de 1 trilhão de parâmetros, comparável ao ChatGPT-4

O supercomputador Frontier estabelece novos recordes no espaço de treinamento LLM, cortesia das CPUs EPYC da AMD e da AMD. GPUs de instinto

Artigos relacionados:

Tênis Air Jordan 1 Low Golf “Wolf Grey Gum”: onde conseguir, preço e mais detalhes explorados

Tênis Air Jordan 1 Low Golf “White Gum”: onde conseguir, preço e mais detalhes explorados

Deixe um comentário Cancelar resposta