Arc A 系列 GPU 現已在英特爾 PyTorch 擴展 (IPEX) 中獲得支持,可在深度學習和法學碩士領域提供更快的 AI 功能。
Intel PyTorch 擴充功能現在充分利用 Arc A 系列 GPU 上的 XMX AI 硬體
英特爾基於 Alchemist 架構的 Arc A 系列 GPU 具有大量的硬體潛力,而這些潛力正在日復一日地實現。軟體部門在優化這些 GPU 的遊戲效能方面做得非常出色,現在的重點是新興的 AI 市場,這些晶片上的 XMX 單元將在該市場中充分利用。
在更新中,英特爾確認 IPEX(PyTorch 的英特爾擴充)現在跨 Windows、Linux 和 WSL2 平台提供對 Arc A 系列 GPU 的支援。憑藉這一新增支持,英特爾A 系列GPU 不僅可以提升LLM 等深度學習模型的加速,還可以為英特爾硬體帶來新的優化,從而實現更快的性能,並使用戶能夠在Alchemist 系列GPU 上運行PyTorch 模型。
對於擁有 Intel Arc A 系列 GPU 並希望利用 PyTorch 中的 XMX AI 引擎的人來說,該公司已在此處發布了有關如何在 Windows 和 WSL2 上運行 Llama 2 介面的完整部落格。根據英特爾人工智慧軟體團隊介紹:
- GPU 非常適合大型語言模型 (LLM) 工作負載,因為 GPU 擅長大規模資料並行性和高記憶體頻寬。 Arc A 系列顯示卡(包括 Arc A770 顯示卡)是高效能顯示卡,具有多達 512 個 Xe 矩陣擴展 (XMX) 引擎,提供加速執行深度學習模型(包括法學碩士)的能力。
- IPEX 利用英特爾獨立 GPU 上的 XMX 引擎,透過針對英特爾硬體的最新效能最佳化來擴展 PyTorch。
- PyTorch 的 IPEX 擴充功能支援 PyTorch XPU 設備,使其能夠輕鬆地將 PyTorch 模型和輸入資料移至設備,以便在具有 GPU 加速功能的英特爾離散 GPU 上執行。
- 最新版本的 IPEX (v2.1.10+xpu) 正式支援 WSL2、本機 Windows 和本機 Linux 上的 Arc A-Series Graphics。
- 展示了透過 Ipex 在 Windows 上的 Arc A770 圖形和 WSL2 上運行 Llama 2 7B 和 Llama 2-Chat 7B 推理。
- 要在 Arc A 系列 GPU 上運行 Llama 2 或任何其他 PyTorch 模型,只需添加幾行額外的程式碼即可導入intel_extension_for_pytorch 和。 to(“xpu”)將模型和資料移至裝置以在 Arc A 系列 GPU 上執行。
我們最近發表了一篇文章,引用了英特爾前 GPU 老闆 Raja Koduri 的話,他提到客戶端和遊戲 PC GPU 如何在實現 AI 成功方面發揮著至關重要的作用。英特爾擴大對其Arc A 系列GPU 的支援對於該細分市場來說是一件好事,在該細分市場中,NVIDIA 和AMD 一直透過在以消費者為中心的硬體上提供快速的人工智慧支援而處於領先地位。
發佈留言