Intel rende la sua libreria di accelerazione NPU una risorsa open source, consentendo agli sviluppatori di ottimizzare le applicazioni AI

Intel rende la sua libreria di accelerazione NPU una risorsa open source, consentendo agli sviluppatori di ottimizzare le applicazioni AI

Intel ha finalmente reso “open source” la sua libreria di accelerazione NPU, consentendo agli sviluppatori e agli appassionati di ottimizzare le proprie applicazioni affinché funzionino al meglio con i motori AI di Intel.

L’open source di librerie NPU di Intel rivela che i motori IA dedicati hanno un grande futuro davanti a sé

La notizia arriva dal Tech Evangelist di Intel Tony Mongkolsmai, che per primo ha rivelato la nuova libreria open source dell’azienda.

Con questo passaggio, la libreria di accelerazione NPU aiuterà gli sviluppatori a trarre vantaggio dalle NPU esistenti nelle linee di CPU come la serie “Core Ultra” di Meteor Lake . Si basa su Python e semplifica lo sviluppo fornendo un’interfaccia di alto livello e supporta framework popolari come TensorFlow e PyTorch, offrendo agli sviluppatori il potere di sfruttare le capacità della libreria per rendere più efficienti le attività relative all’intelligenza artificiale.

Tony stava eseguendo la libreria di accelerazione NPU su un laptop MSI Prestige 16 AI Evo, dotato di CPU Intel Core Ultra. Potrebbe eseguire i modelli LLM TinyLlama e Gemma-2b-it sulla macchina senza interruzioni delle prestazioni, indicando il potenziale insito nelle NPU di Intel e il modo in cui promuovono un ambiente AI all’avanguardia per gli sviluppatori. Ecco come lo stesso team di sviluppo Intel descrive la libreria:

Intel NPU Acceleration Library è una libreria Python progettata per aumentare l’efficienza delle tue applicazioni sfruttando la potenza dell’Intel Neural Processing Unit (NPU) per eseguire calcoli ad alta velocità su hardware compatibile.

Nel nostro tentativo di migliorare significativamente le prestazioni della biblioteca, stiamo indirizzando i nostri sforzi verso l’implementazione di una serie di funzionalità chiave, tra cui:

  • Quantizzazione a 8 bit
  • Quantizzazione a 4 bit e GPTQ
  • Inferenza a precisione mista nativa NPU
  • Supporto Float16
  • BFloat16 (formato in virgola mobile cerebrale)
  • torch.compilesupporto
  • Implementazione della fusione orizzontale LLM MLP
  • Inferenza di forma statica
  • Inferenza MHA NPU
  • Eterocalcolo NPU/GPU
  • Carta

tramite Github Intel

È bello vedere l’open source della libreria di accelerazione NPU, poiché alla fine porterebbe a un’implementazione migliorata delle applicazioni AI in esecuzione sui motori AI dedicati di Intel. Sarà interessante vedere che tipo di sviluppi vedremo su tali motori andare avanti, dal momento che, come affermato dallo stesso Tony, c’è molto da fare per consumatori e sviluppatori.

Fonte notizia: Tony Mongkolsmai

Articoli correlati:

Tensor G4: un'altra versione deludente di Google o un cambiamento della marea del silicio? Ecco tutto quello che devi sapere
"Queste ragazze non possono fare NIENTE": i netizen esprimono reazioni contrastanti alla cover di "EASY" di LE SSERAFIM per il loro palco del bis di KBS Music Bank

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *