英特爾將其 NPU 加速程式庫作為開源資產，使開發人員能夠優化人工智慧應用

英特爾終於「開源」了其 NPU 加速庫，允許開發人員和愛好者調整他們的應用程序，以便與英特爾的人工智慧引擎完美配合。

英特爾 NPU 庫開源表明專用 AI 引擎前景廣闊

這項消息來自英特爾技術傳播者 Tony Mongkolsmai，他首先揭露了該公司新的開源程式庫。

透過這一步，NPU加速庫將幫助開發者受益於Meteor Lake「Core Ultra」系列等CPU陣容中現有的NPU 。它基於 Python，透過提供高級介面簡化了開發，並支援 TensorFlow 和 PyTorch 等流行框架，使開發人員能夠利用該程式庫的功能來提高 AI 相關任務的效率。

對於一直在詢問的開發人員，請查看新開源的英特爾 NPU 加速程式庫。我剛剛在我的 MSI Prestige 16 AI Evo 機器上嘗試過（這次是 Windows，但該庫也支援 Linux），並且按照 GitHub 文件能夠運行 TinyLlama… pic.twitter.com/UPMujuKGGT

— Tony Mongkolsmai (@tonymongkolsmai) 2024 年 3 月 1 日

Tony 一直在配備 Intel Core Ultra CPU 的 MSI Prestige 16 AI Evo 筆記型電腦上執行 NPU 加速程式庫。他可以在機器上運行 TinyLlama 和 Gemma-2b-it LLM 模型而不會造成效能中斷，這表明英特爾 NPU 的潛力以及它們如何為開發人員促進邊緣人工智慧環境。以下是英特爾開發團隊自己對該程式庫的描述：

英特爾 NPU 加速程式庫是一個 Python 函式庫，旨在利用英特爾神經處理單元 (NPU) 的強大功能在相容硬體上執行高速運算，從而提高應用程式的效率。

為了顯著提高圖書館的效能，我們正在努力實現一系列關鍵功能，包括：

8位量化

4 位量化和 GPTQ

NPU-Native混合精準度推理

Float16 支持

BFloat16（大腦浮點格式）

torch.compile支援

LLM MLP水平融合實現

靜態形狀推斷

MHA NPU 推理

NPU/GPU 異構運算

紙

通過 Github 英特爾