英特爾為其 Arc Pro「Project Battlematrix」計畫推出了重大軟體更新，推出了具有顯著增強功能的LLM Scaler v1.0。
英特爾 Arc Pro GPU 迎來重要軟體升級，LLM Scaler v1.0
在 2025 年台北國際電腦展 (Computex 2025) 上，英特爾推出了 Battlematrix 專案及其全新的 Arc Pro GPU。該專案旨在為使用多個 Arc Pro GPU 的推理工作站平台提供全面的解決方案。在其產品路線圖中，英特爾承諾在第三季提供首個具有 vLLM 暫存和基本遙測支援等功能的容器部署，而這一目標現已隨著 LLM Scaler v1.0 的發布而實現。
LLM Scaler 容器 v1.0包含一套全面的功能與最佳化：
- vLLM 增強功能：
- 對於 32B KPI 模型，40K 序列長度的效能提升高達 1.8 倍，對於 70B KPI 模型，效能提升高達 4.2 倍
- 8B-32B KPI 型號的輸出吞吐量相對於上一版本增加了約 10%
- 逐層在線量化以減少 GPU 記憶體需求
- vLLM 中對管線並行 (PP) 的實驗性支持
- 實驗功能包括 torch.compile 和推測解碼
- 支援嵌入和重新排序模型
- 增強的多模態模型相容性
- 自動偵測最大輸入長度
- 資料平行功能
- OneCCL 基準測試工具已啟動
- XPU 管理器功能：
- GPU功率監控
- GPU 韌體更新
- GPU 診斷
- GPU記憶體頻寬分析
英特爾強調，更新後的軟體堆疊旨在提高用戶友善度，並遵循行業基準。容器專為 Linux 環境量身定制，透過多 GPU 擴充功能和 PCIe P2P 資料傳輸，預計將效能提升高達 80%。此外，它還提供企業級可靠性和管理功能，包括 ECC、SR-IOV、遙測和遠端韌體更新。
根據英特爾的路線圖，此版本將在本季稍後推出更強大的容器版本，將專注於增強效能和 vLLM 服務。最後，一套全面的功能集計劃於第四季推出。
發佈留言