As GPUs Arc A-Series agora são suportadas pela Intel Extension for PyTorch (IPEX), oferecendo recursos de IA mais rápidos em aprendizado profundo e LLMs.
A extensão Intel para PyTorch agora aproveita ao máximo o hardware XMX AI integrado às GPUs Arc A-Series
As GPUs Arc A-Series da Intel baseadas na arquitetura Alchemist têm muito potencial no hardware que está sendo realizado dia após dia. A divisão de software fez um ótimo trabalho na otimização do desempenho de jogo dessas GPUs e agora o foco está no mercado emergente de IA, onde as unidades XMX apresentadas nesses chips serão totalmente utilizadas.
Em uma atualização, a Intel confirmou que IPEX (Intel Extension for PyTorch) agora oferece suporte para GPUs Arc A-Series em plataformas Windows, Linux e WSL2. Com esse suporte recém-adicionado, as GPUs Série A da Intel não apenas aumentariam a aceleração de modelos de aprendizado profundo, como LLMs, mas também trariam novas otimizações para hardware Intel, permitindo desempenho mais rápido e dando aos usuários a capacidade de executar modelos PyTorch na linha de GPUs Alchemist. .
Para aqueles que possuem uma GPU Intel Arc Série A e desejam aproveitar as vantagens de seu mecanismo XMX AI dentro do PyTorch, a empresa postou um blog completo sobre como executar a interface Llama 2 no Windows e WSL2 aqui . De acordo com a equipe de software de IA da Intel:
- As GPUs são adequadas para cargas de trabalho de modelo de linguagem grande (LLM), pois as GPUs se destacam no paralelismo massivo de dados e na alta largura de banda de memória. Os Arc A-Series Graphics, incluindo Arc A770 Graphics, são gráficos de alto desempenho, com até 512 mecanismos Xe Matrix Extensions (XMX), fornecendo capacidade para execução acelerada de modelos de aprendizagem profunda, incluindo LLMs.
- IPEX estende o PyTorch com as mais recentes otimizações de desempenho para hardware Intel, aproveitando os motores XMX em GPUs discretas Intel.
- A extensão IPEX para PyTorch habilita o dispositivo PyTorch XPU, o que permite mover facilmente o modelo PyTorch e inserir dados para o dispositivo para execução na GPU discreta Intel com aceleração de GPU.
- A versão mais recente do IPEX (v2.1.10 + xpu) suporta oficialmente Arc A-Series Graphics em WSL2, Windows nativo e Linux nativo.
- Demonstração da execução da inferência Llama 2 7B e Llama 2-Chat 7B em Arc A770 Graphics no Windows e WSL2 via Ipex.
- Para executar o Llama 2, ou qualquer outro modelo PyTorch, em GPUs Arc A-Series, basta adicionar algumas linhas de código adicionais para importar intel_extension_for_pytorch e. to(“xpu”) para mover o modelo e os dados para o dispositivo para execução na GPU Arc A-Series.
Publicamos recentemente um artigo citando o ex-chefe de GPU da Intel, Raja Koduri, que mencionou como as GPUs de PC para clientes e jogos desempenharam um papel crucial no sucesso da IA . A expansão do suporte da Intel para suas GPUs Arc A-Series é ótimo para o segmento de mercado onde a NVIDIA e a AMD têm liderado o ataque, oferecendo suporte rápido de IA em hardware centrado no consumidor.
Artigos relacionados:
A placa-mãe GIGABYTE X870E AORUS ELITE WIFI7 ICE oferece recursos impressionantes pelo ótimo preço de US$ 309,99
13:07
Intel confirma compromisso com planos de substrato de vidro ‘altamente promissores’ em meio a rumores de cancelamento
12:26
Lançamento da série NVIDIA RTX 50 SUPER adiado, GPUs RTX 50 permanecem em ciclo de produção completo
11:38
Deixe um comentário