Intel ha lanciato un importante aggiornamento software per la sua iniziativa Arc Pro “Project Battlematrix”, introducendo LLM Scaler v1.0 con notevoli miglioramenti.
Le GPU Intel Arc Pro ricevono un importante aggiornamento software con LLM Scaler v1.0
Durante il Computex 2025, Intel ha presentato il Progetto Battlematrix insieme alle sue nuove GPU Arc Pro. Questa iniziativa mira a fornire una soluzione completa per piattaforme workstation di inferenza che utilizzano più GPU Arc Pro. Nella sua roadmap di prodotto, Intel si è impegnata a fornire la prima distribuzione di container con funzionalità come lo staging vLLM e il supporto di telemetria di base nel terzo trimestre, che si è ora concretizzata con il rilascio di LLM Scaler v1.0.
Il contenitore LLM Scaler v1.0 incorpora un set completo di funzionalità e ottimizzazioni:
- Miglioramenti vLLM :
- Miglioramento delle prestazioni fino a 1, 8 volte per una lunghezza di sequenza di 40K su modelli KPI da 32B e 4, 2 volte per modelli KPI da 70B
- Aumento di circa il 10% della produttività per i modelli KPI 8B-32B rispetto alla versione precedente
- Quantizzazione online per strato per requisiti di memoria GPU ridotti
- Supporto sperimentale per il parallelismo della pipeline (PP) in vLLM
- Funzionalità sperimentali tra cui torch.compile e decodifica speculativa
- Supporto per modelli di incorporamento e riclassificazione
- Compatibilità migliorata del modello multimodale
- Rilevamento automatico della lunghezza massima di input
- Funzionalità di parallelismo dei dati
- Attivazione dello strumento di benchmark OneCCL
- Caratteristiche di XPU Manager :
- Monitoraggio della potenza della GPU
- Aggiornamenti del firmware della GPU
- Diagnostica GPU
- Analisi della larghezza di banda della memoria GPU
Intel sottolinea che lo stack software aggiornato è progettato per essere intuitivo e conforme ai benchmark di settore. Progettato per ambienti Linux, questo container offre un potenziale di incremento delle prestazioni fino all’80% grazie al ridimensionamento multi-GPU e al trasferimento dati PCIe P2P. Offre inoltre funzionalità di affidabilità e gestione di livello enterprise, tra cui ECC, SR-IOV, telemetria e aggiornamenti firmware remoti.
Secondo la roadmap di Intel, questa release sarà presto seguita da un lancio di container più robusto nel corso di questo trimestre, che si concentrerà su prestazioni migliorate e sul servizio vLLM. Infine, è previsto il lancio di un set completo di funzionalità nel quarto trimestre.
Articoli correlati:
I quattro motivi principali per cui i giocatori preferiscono la RTX 5070 alla RX 9070 nonostante la VRAM inferiore e le prestazioni raster leggermente più lente
19:09
Presentata la GPU Intel Arc A750 con 16 GB di memoria, bus a 512 bit e doppi connettori a 8 pin
17:42
Test delle prestazioni di Borderlands 4 per PC: la grafica mozzafiato lo rende il capitolo più impegnativo di sempre
16:08
Lascia un commento