インテル、NPU アクセラレーションライブラリをオープンソース資産にし、開発者が AI アプリケーションを最適化できるようにする

Intel はついに NPU アクセラレーションライブラリを「オープンソース」化し、開発者や愛好家が Intel の AI エンジンで最適に動作するようにアプリケーションを調整できるようにしました。

インテルの NPU ライブラリのオープンソース化により、専用 AI エンジンには素晴らしい将来があることが明らかに

このニュースは、Intel のテックエバンジェリスト、Tony Mongkolsmai 氏によるもので、彼は最初に同社の新しいオープンソースライブラリを公開しました。

このステップにより、NPU アクセラレーションライブラリは、開発者がMeteor Lake の「Core Ultra」シリーズなどの CPU ラインナップに存在する NPU の恩恵を受けるのに役立ちます。これは Python をベースにしており、高レベルのインターフェイスを提供することで開発を簡素化し、TensorFlow や PyTorch などの一般的なフレームワークをサポートするため、開発者はライブラリの機能を活用して AI 関連のタスクをより効率的に行うことができます。

問い合わせをしてきた開発者は、新しくオープンソース化されたインテル NPU アクセラレーションライブラリをチェックしてください。 MSI Prestige 16 AI Evo マシン (今回は Windows ですが、ライブラリは Linux もサポートしています) で試してみたところ、GitHub ドキュメントに従って TinyLlama を実行できました… pic.twitter.com/UPMujuKGGT

— トニー・モンコルスマイ (@tonymongkolsmai) 2024 年 3 月 1 日

Tony は、Intel Core Ultra CPU を搭載した MSI Prestige 16 AI Evo ラップトップで NPU アクセラレーションライブラリを実行していました。同氏は、パフォーマンスを中断することなく TinyLlama および Gemma-2b-it LLM モデルをマシン上で実行することができ、Intel の NPU の潜在的な魅力と、それが開発者向けのエッジ AI 環境をどのように推進しているかを示しました。 Intel 開発チーム自身がこのライブラリをどのように説明しているかは次のとおりです。

インテル NPU アクセラレーションライブラリは、インテルニューラルプロセッシングユニット (NPU) の能力を活用して互換性のあるハードウェア上で高速計算を実行することにより、アプリケーションの効率を高めるように設計された Python ライブラリです。

ライブラリのパフォーマンスを大幅に向上させるため、私たちは次のようなさまざまな主要な機能の実装に取り組んでいます。

8ビット量子化

4ビット量子化とGPTQ

NPU ネイティブ混合精度推論

Float16 のサポート

BFloat16 (ブレイン浮動小数点形式)

torch.compileサポート

LLM MLP 水平融合の実装

静的形状推論

MHA NPU 推論

NPU/GPU hetero compute

紙

Github インテル経由

NPU アクセラレーションライブラリのオープンソース化は、最終的にはインテルの専用 AI エンジンで実行される AI アプリケーションの実装の強化につながるため、素晴らしいことです。トニー自身が述べているように、消費者と開発者にとって多くのことが詰め込まれているため、今後このようなエンジンでどのような開発が進むのかを見るのは興味深いでしょう。

ニュースソース:トニー・モンコルスマイ