Intel ha lanzado una importante actualización de software para su iniciativa Arc Pro “Project Battlematrix”, presentando LLM Scaler v1.0 con mejoras notables.
Las GPU Intel Arc Pro reciben una importante actualización de software con LLM Scaler v1.0
Durante Computex 2025, Intel presentó el Proyecto Battlematrix junto con sus nuevas GPU Arc Pro. Esta iniciativa busca proporcionar una solución integral para plataformas de estaciones de trabajo de inferencia que utilizan múltiples GPU Arc Pro. En su hoja de ruta de productos, Intel se comprometió a entregar la primera implementación de contenedores con funciones como la puesta en escena de vLLM y compatibilidad básica con telemetría en el tercer trimestre, lo que se ha materializado con el lanzamiento de LLM Scaler v1.0.
El contenedor LLM Scaler v1.0 incorpora un conjunto completo de características y optimizaciones:
- Mejoras de vLLM :
- Mejora del rendimiento de hasta 1, 8x para una longitud de secuencia de 40K en modelos KPI de 32B y 4, 2x para modelos KPI de 70B
- Aumento de aproximadamente el 10 % en el rendimiento de salida para los modelos KPI 8B-32B en relación con la versión anterior
- Cuantización en línea por capas para reducir los requisitos de memoria de la GPU
- Soporte experimental para paralelismo de pipeline (PP) en vLLM
- Funciones experimentales que incluyen torch.compile y decodificación especulativa
- Soporte para incrustar y reordenar modelos
- Compatibilidad mejorada con modelos multimodales
- Detección automática de la longitud máxima de entrada
- Funcionalidad de paralelismo de datos
- Activación de la herramienta de referencia OneCCL
- Características del administrador XPU :
- Monitoreo de energía de la GPU
- Actualizaciones de firmware de la GPU
- Diagnóstico de GPU
- Análisis del ancho de banda de la memoria de la GPU
Intel enfatiza que la pila de software actualizada está diseñada para ser intuitiva y cumple con los estándares de la industria. Diseñado para entornos Linux, este contenedor ofrece un potencial de aumento de rendimiento de hasta un 80 % mediante escalado multiGPU y transferencias de datos P2P PCIe. Además, ofrece confiabilidad y capacidades de gestión de nivel empresarial, incluyendo ECC, SR-IOV, telemetría y actualizaciones remotas de firmware.
Según la hoja de ruta de Intel, este lanzamiento será reemplazado por un lanzamiento de contenedor más robusto a finales de este trimestre, que se centrará en un rendimiento mejorado y en la gestión de vLLM. Por último, está previsto el lanzamiento de un conjunto completo de funciones en el cuarto trimestre.
Artículos relacionados:
La placa base GIGABYTE X870E AORUS ELITE WIFI7 ICE ofrece características impresionantes a un excelente precio de $309.99
13:06
Intel confirma su compromiso con planes de sustrato de vidrio «muy prometedores» en medio de rumores de cancelación.
12:26
Se retrasa el lanzamiento de la serie NVIDIA RTX 50 SUPER, las GPU RTX 50 siguen en pleno ciclo de producción
11:39
Deja una respuesta