Projekt Battlematrix firmy Intel: duża aktualizacja oprogramowania dla procesorów graficznych Arc Pro wprowadza technologię LLM Scaler v1.0, zwiększającą wydajność nawet o 80% dzięki ulepszonemu wsparciu

Firma Intel wprowadziła znaczącą aktualizację oprogramowania w ramach inicjatywy Arc Pro „Project Battlematrix”, wprowadzając LLM Scaler v1.0 ze znaczącymi udoskonaleniami.

Procesory graficzne Intel Arc Pro otrzymują ważną aktualizację oprogramowania dzięki LLM Scaler v1.0

Podczas targów Computex 2025 firma Intel zaprezentowała projekt Battlematrix wraz z nowymi procesorami graficznymi Arc Pro. Celem tej inicjatywy jest zapewnienie kompleksowego rozwiązania dla platform stacji roboczych do wnioskowania, wykorzystujących wiele procesorów graficznych Arc Pro. W swoim planie rozwoju produktów firma Intel zobowiązała się do dostarczenia pierwszego wdrożenia kontenera z funkcjami takimi jak staging vLLM i podstawowa obsługa telemetrii w trzecim kwartale, co zostało zrealizowane wraz z wydaniem LLM Scaler v1.0.

Projekt Battlematrix firmy Intel dla procesorów graficznych Arc Pro otrzymuje pierwszą dużą aktualizację oprogramowania: LLM Scaler v1.0

Kontener LLM Scaler v1.0 zawiera kompleksowy zestaw funkcji i optymalizacji:

Ulepszenia vLLM :
- Poprawa wydajności do 1, 8x dla długości sekwencji 40K w modelach KPI 32B i 4, 2x dla modeli KPI 70B
- Około 10% wzrost przepustowości wyjściowej dla modeli KPI 8B-32B w porównaniu z poprzednią wersją
- Kwantyzacja online w trybie warstwowym w celu zmniejszenia wymagań dotyczących pamięci GPU
- Eksperymentalne wsparcie dla paralelizmu potokowego (PP) w vLLM
- Funkcje eksperymentalne, w tym torch.compile i dekodowanie spekulatywne
- Obsługa osadzania i ponownego klasyfikowania modeli
- Ulepszona zgodność modeli multimodalnych
- Automatyczne wykrywanie maksymalnej długości danych wejściowych
- Funkcjonalność paralelizmu danych
Aktywacja narzędzia OneCCL Benchmark
Funkcje XPU Manager :
- Monitorowanie zużycia energii przez GPU
- Aktualizacje oprogramowania układowego GPU
- Diagnostyka GPU
- Analiza przepustowości pamięci GPU

Firma Intel podkreśla, że zaktualizowany stos oprogramowania został zaprojektowany z myślą o łatwości obsługi i zgodności z branżowymi testami porównawczymi. Dostosowany do środowisk Linux, kontener ten oferuje potencjał wzrostu wydajności nawet o 80% dzięki skalowaniu wielu procesorów graficznych i transferom danych PCIe P2P. Ponadto oferuje niezawodność i funkcje zarządzania klasy korporacyjnej, w tym ECC, SR-IOV, telemetrię i zdalne aktualizacje oprogramowania sprzętowego.

Zgodnie z planem Intela, po tej wersji nastąpi wkrótce bardziej rozbudowana wersja kontenerowa, która zostanie wprowadzona jeszcze w tym kwartale i będzie koncentrować się na zwiększonej wydajności i obsłudze vLLM. Wreszcie, w czwartym kwartale planowane jest wdrożenie kompleksowego zestawu funkcji.

Źródło i obrazy