A mais recente plataforma Blackwell da NVIDIA estabeleceu um novo padrão em otimização de tokens para inferência de IA, representando uma conquista significativa no campo da tokenomics.
A placa de vídeo GB200 NVL72 da NVIDIA supera a Hopper com uma tokenomics 10 vezes melhorada, destacando-se pelo paralelismo de “nível especialista”.
No cenário dinâmico da tecnologia de IA, a NVIDIA priorizou o aprimoramento da eficiência de seu hardware. Com a introdução de modelos de IA de ponta treinados com Blackwell, avanços notáveis na geração de tokens e na redução de custos associados foram alcançados. Recentemente, a NVIDIA compartilhou informações sobre sua colaboração com diversas empresas para elevar o desempenho do Blackwell, apresentando uma melhoria de dez vezes em comparação com a geração anterior, Hopper.
Os principais provedores de serviços de inferência, como Baseten, DeepInfra, Fireworks AI e Together AI, estão utilizando a plataforma NVIDIA Blackwell, alcançando uma redução no custo por token de até 10 vezes em comparação com a plataforma NVIDIA Hopper. Essas empresas hospedam modelos sofisticados de código aberto que atingiram um nível de inteligência de ponta.
Ao combinar inteligência de ponta de código aberto com o robusto design conjunto de hardware e software da NVIDIA Blackwell e pilhas de inferência personalizadas, esses provedores estão facilitando economias substanciais de custos com tokens para empresas em diversos setores.
– NVIDIA
A NVIDIA reconheceu organizações como Baseten, Sully.ai, DeepInfra e Latitude por seu compromisso em otimizar a tokenomics com o Blackwell. Essas empresas se beneficiam da latência reduzida, dos custos de inferência mais baixos e da saída confiável, consolidando o Blackwell como a tecnologia preferida para empresas de IA contemporâneas. Notavelmente, a Sentient Labs relatou ter alcançado uma “eficiência de custos 25 a 50% maior” em comparação com a plataforma Hopper, principalmente em implantações com múltiplos agentes e agentes de IA especializados.
O sucesso da arquitetura Blackwell pode ser atribuído à estratégia inovadora de “design conjunto extremo” da NVIDIA, que é especialmente compatível com as modernas arquiteturas Mixture of Experts (MoE).A GB200 NVL72 emprega uma configuração de 72 chips complementada por 30 TB de memória compartilhada de alta velocidade, elevando o paralelismo especializado a níveis sem precedentes. Essa arquitetura permite a divisão e distribuição contínua de lotes entre GPUs, resultando em um aumento não linear no volume de comunicação, um fator crucial para alcançar uma tokenomics ideal.
Olhando para o futuro, a NVIDIA pretende aprimorar ainda mais a eficiência da infraestrutura com seu projeto Vera Rubin, com foco em inovações arquitetônicas e ferramentas especializadas, como o CPX para funcionalidade de pré-preenchimento. Diante da rápida evolução da tecnologia de IA, é imprescindível compreender que otimizar o hardware existente é tão vital quanto desenvolver novos sistemas.
Artigos relacionados:
A Microsoft apresenta o Modo Xbox para todos os PCs com Windows 11, combinando as experiências de jogos de console e de desktop.
20:22
A Samsung encerra a produção de memória LPDDR4 em meio a um aumento de 50 vezes nos lucros e prevê escassez crescente de memória até 2027.
19:08
Guia definitivo para análise e otimização de desempenho do PC com Windrose para uma experiência ideal.
18:19
Deixe um comentário