Intel czyni swoją bibliotekę akceleracji NPU zasobem typu open source, umożliwiającym programistom optymalizację aplikacji AI

Firma Intel w końcu udostępniła swoją bibliotekę NPU Acceleration na zasadach open source, umożliwiając programistom i entuzjastom dostrojenie aplikacji tak, aby jak najlepiej współpracowały z silnikami sztucznej inteligencji firmy Intel.

Otwarte korzystanie z bibliotek NPU przez firmę Intel ujawnia, że dedykowane silniki AI mają przed sobą wspaniałą przyszłość

Wiadomość pochodzi od ewangelisty technologii Intela, Tony’ego Mongkolsmaia, który jako pierwszy ujawnił nową bibliotekę open source firmy Intel.

Dzięki temu krokowi biblioteka akceleracji NPU pomoże programistom korzystać z jednostek NPU istniejących w liniach procesorów, takich jak seria „Core Ultra” Meteor Lake . Opiera się na języku Python i upraszcza programowanie, zapewniając interfejs wysokiego poziomu i obsługuje popularne platformy, takie jak TensorFlow i PyTorch, dając programistom możliwość wykorzystania możliwości biblioteki w celu zwiększenia wydajności zadań związanych ze sztuczną inteligencją.

Dla programistów, którzy o to pytali, sprawdź nową bibliotekę Intel NPU Acceleration o otwartym kodzie źródłowym. Właśnie wypróbowałem to na moim komputerze MSI Prestige 16 AI Evo (tym razem z systemem Windows, ale biblioteka obsługuje również Linuksa) i postępując zgodnie z dokumentacją GitHub, udało mi się uruchomić TinyLlama… pic.twitter.com/UPMujuKGGT

— Tony Mongkolsmai (@tonymongkolsmai) 1 marca 2024 r

Tony używał biblioteki akceleracji NPU na laptopie MSI Prestige 16 AI Evo wyposażonym w procesory Intel Core Ultra. Mógł uruchamiać na maszynie modele TinyLlama i Gemma-2b-it LLM bez zakłóceń w wydajności, co wskazywało na potencjał drzemiący w jednostkach NPU Intela i w jaki sposób promują one dla programistów środowisko brzegowej sztucznej inteligencji. Oto jak zespół programistów firmy Intel opisuje bibliotekę:

Biblioteka przyspieszenia Intel NPU to biblioteka języka Python zaprojektowana w celu zwiększenia wydajności aplikacji poprzez wykorzystanie mocy procesora Intel Neural Processing Unit (NPU) do wykonywania szybkich obliczeń na kompatybilnym sprzęcie.

W naszym dążeniu do znacznej poprawy wydajności biblioteki kierujemy nasze wysiłki w stronę wdrożenia szeregu kluczowych funkcji, w tym:

Kwantyzacja 8-bitowa

4-bitowa kwantyzacja i GPTQ

NPU — wnioskowanie o mieszanej precyzji natywnej

Obsługa Float16

BFloat16 (format zmiennoprzecinkowy mózgu)

torch.compilewsparcie

Wdrożenie poziomej fuzji LLM MLP

Statyczne wnioskowanie o kształcie

Wnioskowanie MHA NPU

Heteromputer NPU/GPU

Papier

za pośrednictwem Githuba Intela

Wspaniale jest widzieć otwarte źródło bibliotek akceleracji NPU, ponieważ ostatecznie doprowadziłoby to do ulepszonej implementacji aplikacji AI działających na dedykowanych silnikach AI firmy Intel. Ciekawie będzie zobaczyć, jakie zmiany zaobserwujemy w przyszłości w takich silnikach, ponieważ, jak stwierdził sam Tony, przed konsumentami i programistami czeka mnóstwo pracy.

Źródło wiadomości: Tony Mongkolsmai