Intel Arc GPU는 이제 PyTorch용 Intel 확장에서 지원되어 AI, 딥 러닝 및 LLM 기능을 향상시킵니다.

Arc A 시리즈 GPU는 이제 IPEX(Intel Extension for PyTorch) 내에서 지원되어 딥 러닝 및 LLM에서 더 빠른 AI 기능을 제공합니다.

PyTorch용 Intel 확장은 이제 Arc A 시리즈 GPU에 탑재된 XMX AI 하드웨어를 최대한 활용합니다.

Alchemist 아키텍처를 기반으로 하는 Intel의 Arc A 시리즈 GPU는 날마다 실현되고 있는 수많은 하드웨어 잠재력을 가지고 있습니다. 소프트웨어 부서는 이러한 GPU의 게임 성능을 최적화하는 데 큰 성과를 거두었으며 이제 이러한 칩에 탑재된 XMX 장치가 완전히 활용될 신흥 AI 시장에 초점을 맞추고 있습니다.

업데이트에서 Intel은 IPEX(Intel Extension for PyTorch)가 이제 Windows, Linux 및 WSL2 플랫폼 전반에서 Arc A 시리즈 GPU를 지원함을 확인했습니다. 새로 추가된 지원을 통해 Intel의 A 시리즈 GPU는 LLM과 같은 딥 러닝 모델의 가속을 향상시킬 뿐만 아니라 Intel 하드웨어에 대한 새로운 최적화를 제공하여 더 빠른 성능을 구현하고 사용자에게 Alchemist GPU 제품군에서 PyTorch 모델을 실행할 수 있는 기능을 제공합니다. .

Intel Arc A-시리즈 GPU가 있고 PyTorch 내에서 XMX AI 엔진을 활용하려는 분들을 위해 회사는 Windows 및 WSL2에서 Llama 2 인터페이스를 실행하는 방법에 대한 전체 블로그를 여기에 게시했습니다 . Intel의 AI 소프트웨어 팀에 따르면:

GPU는 대규모 데이터 병렬 처리 및 높은 메모리 대역폭이 뛰어나므로 LLM(대형 언어 모델) 워크로드에 매우 적합합니다. Arc A770 그래픽을 포함한 Arc A-시리즈 그래픽은 최대 512개의 XMX(Xe Matrix Extensions) 엔진을 갖춘 고성능 그래픽으로, LLM을 포함한 딥 러닝 모델의 실행 가속화 기능을 제공합니다.
IPEX는 Intel 하드웨어에 대한 최신 성능 최적화로 PyTorch를 확장하고 Intel 개별 GPU의 XMX 엔진을 활용합니다.
PyTorch용 IPEX 확장은 PyTorch XPU 장치를 활성화합니다. 이를 통해 PyTorch 모델과 입력 데이터를 장치로 쉽게 이동하여 GPU 가속 기능이 있는 Intel 개별 GPU에서 실행할 수 있습니다.
최신 IPEX 릴리스(v2.1.10+xpu)는 공식적으로 WSL2, 기본 Windows 및 기본 Linux에서 Arc A-Series Graphics를 지원합니다.
Windows의 Arc A770 그래픽과 Ipex를 통한 WSL2에서 Llama 2 7B 및 Llama 2-Chat 7B 추론을 실행하는 방법을 시연했습니다.
Arc A 시리즈 GPU에서 Llama 2 또는 다른 PyTorch 모델을 실행하려면 intel_extension_for_pytorch를 가져오는 코드 몇 줄을 추가하기만 하면 됩니다 . to(“xpu”)는 Arc A 시리즈 GPU에서 실행하기 위해 모델과 데이터를 장치로 이동합니다.

우리는 최근 Intel의 전 GPU 사장인 Raja Koduri의 말을 인용하여 클라이언트 및 게이밍 PC GPU가 AI 성공을 가능하게 하는 데 어떻게 중요한 역할을 했는지 언급한 기사를 게시했습니다 . Intel이 Arc A 시리즈 GPU에 대한 지원을 확대하는 것은 NVIDIA와 AMD가 소비자 중심 하드웨어에 대한 신속한 AI 지원을 제공함으로써 선두를 달리고 있는 시장 부문에 있어서 좋은 일입니다.