A Intel lançou uma atualização de software significativa para sua iniciativa Arc Pro “Project Battlematrix”, apresentando o LLM Scaler v1.0 com melhorias notáveis.
GPUs Intel Arc Pro recebem importante atualização de software com LLM Scaler v1.0
Durante a Computex 2025, a Intel apresentou o Projeto Battlematrix juntamente com suas novas GPUs Arc Pro. Esta iniciativa visa fornecer uma solução abrangente para plataformas de estações de trabalho de inferência que utilizam múltiplas GPUs Arc Pro. Em seu roteiro de produtos, a Intel se comprometeu a entregar a primeira implantação de contêiner com recursos como preparação vLLM e suporte básico a telemetria no terceiro trimestre, o que agora se materializou com o lançamento do LLM Scaler v1.0.
O contêiner LLM Scaler v1.0 incorpora um conjunto abrangente de recursos e otimizações:
- Melhorias no vLLM :
- Melhoria de desempenho de até 1, 8x para comprimento de sequência de 40K em modelos de KPI de 32B e 4, 2x para modelos de KPI de 70B
- Aumento de aproximadamente 10% na produção dos modelos de KPI 8B-32B em relação à versão anterior
- Quantização on-line por camada para requisitos de memória de GPU reduzidos
- Suporte experimental para paralelismo de pipeline (PP) em vLLM
- Recursos experimentais, incluindo torch.compile e decodificação especulativa
- Suporte para modelos de incorporação e reclassificação
- Compatibilidade aprimorada de modelos multimodais
- Detecção automática do comprimento máximo de entrada
- Funcionalidade de paralelismo de dados
- Ativação da ferramenta de benchmark OneCCL
- Recursos do XPU Manager :
- Monitoramento de energia da GPU
- Atualizações de firmware da GPU
- Diagnóstico de GPU
- Análise de largura de banda de memória da GPU
A Intel enfatiza que o pacote de software atualizado foi projetado para ser fácil de usar e atende aos padrões do setor. Adaptado para ambientes Linux, este contêiner oferece potencial para ganhos de desempenho de até 80% por meio de escalonamento multi-GPU e transferências de dados PCIe P2P. Além disso, oferece confiabilidade e recursos de gerenciamento de nível empresarial, incluindo ECC, SR-IOV, telemetria e atualizações remotas de firmware.
De acordo com o roteiro da Intel, este lançamento será substituído em breve por um lançamento de contêiner mais robusto ainda neste trimestre, com foco em desempenho aprimorado e serviço vLLM. Por fim, um conjunto abrangente de recursos está programado para ser lançado no quarto trimestre.
Artigos relacionados:
A placa-mãe GIGABYTE X870E AORUS ELITE WIFI7 ICE oferece recursos impressionantes pelo ótimo preço de US$ 309,99
13:07
Intel confirma compromisso com planos de substrato de vidro ‘altamente promissores’ em meio a rumores de cancelamento
12:26
Lançamento da série NVIDIA RTX 50 SUPER adiado, GPUs RTX 50 permanecem em ciclo de produção completo
11:38
Deixe um comentário