Intel Arc GPU が PyTorch の Intel 拡張機能でサポートされ、AI、ディープラーニング、LLM 機能が強化

Arc A シリーズ GPU が Intel Extension for PyTorch (IPEX) 内でサポートされるようになり、ディープラーニングと LLM でより高速な AI 機能を提供します。

PyTorch 用の Intel 拡張機能が、Arc A シリーズ GPU に搭載された XMX AI ハードウェアを最大限に活用できるようになりました

Alchemist アーキテクチャに基づいた Intel の Arc A シリーズ GPU には、ハードウェア上で多くの可能性があり、それが日々実現されています。ソフトウェア部門は、これらの GPU のゲームパフォーマンスの最適化において素晴らしい仕事をしてきました。現在は、これらのチップに搭載された XMX ユニットが最大限に活用される新興 AI 市場に焦点が当てられています。

Intel はアップデートで、IPEX (Intel Extension for PyTorch) が Windows、Linux、および WSL2 プラットフォーム全体で Arc A シリーズ GPU のサポートを提供することを確認しました。この新たに追加されたサポートにより、Intel の A シリーズ GPU は、LLM などの深層学習モデルの高速化を強化するだけでなく、Intel ハードウェアに新たな最適化をもたらし、より高速なパフォーマンスを実現し、ユーザーが Alchemist GPU ラインで PyTorch モデルを実行できるようになります。。

Intel Arc A シリーズ GPU をお持ちで、PyTorch 内で XMX AI エンジンを活用したい方のために、同社は Windows および WSL2 で Llama 2 インターフェイスを実行する方法に関する完全なブログをここに投稿しました。 Intel の AI ソフトウェアチームによると、次のように述べています。

GPU は大規模なデータの並列処理と高いメモリ帯域幅に優れているため、大規模言語モデル (LLM) ワークロードに適しています。 Arc A770 グラフィックスを含む Arc A シリーズグラフィックスは、最大 512 個の Xe Matrix Extensions (XMX) エンジンを備えた高性能グラフィックスで、LLM を含む深層学習モデルの実行を高速化する機能を提供します。
IPEX は、Intel ディスクリート GPU 上の XMX エンジンを利用して、Intel ハードウェア向けの最新のパフォーマンス最適化で PyTorch を拡張します。
IPEX Extension for PyTorch により、PyTorch XPU デバイスが有効になり、PyTorch モデルと入力データをデバイスに簡単に移動して、GPU アクセラレーションを備えた Intel ディスクリート GPU で実行できるようになります。
IPEX の最新リリース (v2.1.10+xpu) は、WSL2、ネイティブ Windows、およびネイティブ Linux 上の Arc A シリーズグラフィックスを正式にサポートします。
Windows および Ipex 経由の WSL2 上の Arc A770 グラフィックスでの Llama 2 7B および Llama 2-Chat 7B 推論の実行を実証しました。
Arc A シリーズ GPU で Llama 2 またはその他の PyTorch モデルを実行するには、intel_extension_for_pytorchをインポートするコードを数行追加するだけです。 to(“xpu”) は、 Arc A シリーズ GPU で実行するためにモデルとデータをデバイスに移動します。

最近、Intel の元 GPU 責任者である Raja Koduri 氏の言葉を引用した記事を投稿しました。彼は、AI の成功を可能にする上でクライアントおよびゲーム用 PC の GPU がどのように重要な役割を果たしたかについて言及しました。 Intel が Arc A シリーズ GPU へのサポートを拡大することは、NVIDIA と AMD が消費者中心のハードウェアで迅速な AI サポートを提供することで先頭に立ってきた市場セグメントにとって素晴らしいことです。