SoftBank predice que las GPU de AMD mejorarán la capacidad de IA mediante la estrategia informática de «divide y vencerás»

SoftBank ha lanzado un ambicioso proyecto destinado a mejorar el rendimiento de los chips Instinct AI de AMD, específicamente para aplicaciones de IA. Esta iniciativa emplea una técnica de vanguardia de «particionamiento de GPU» que ha despertado un gran interés en la comunidad tecnológica.

SoftBank implementa un orquestador personalizado para las GPU Instinct de AMD

Si bien la infraestructura de IA de AMD no ha captado la atención de los hiperescaladores recientemente, en particular debido al dominio de NVIDIA y la reciente presentación de la serie Blackwell, empresas como SoftBank siguen interesadas en aprovechar la tecnología de AMD. Como se anunció en una entrada reciente del blog, la división tecnológica de SoftBank ha presentado un Orchestrator que se integra a la perfección con los chips de IA Instinct de AMD. Este sistema asigna dinámicamente los recursos computacionales según las demandas de la carga de trabajo y la disponibilidad de recursos.

En colaboración con AMD, SoftBank ha desarrollado una función mejorada de Orchestrator que aprovecha las capacidades de partición de GPU de las GPU AMD Instinct™, lo que permite utilizar una sola GPU como múltiples dispositivos lógicos. Esta función permite una asignación flexible y óptima de los recursos de la GPU según los requisitos de la aplicación de IA, como el tamaño del modelo y la concurrencia.

– SoftBank

Técnicamente, Orchestrator de SoftBank prioriza la distribución eficiente de la carga de trabajo dentro de las GPU Instinct de AMD. Al aprovechar múltiples instancias de GPU configuradas en matrices complejas de aceleración (XCD) individuales, puede operar en varios modos, incluyendo un modelo de instancia única (SPX) y configuraciones que admiten hasta ocho instancias (CPX).Esta versatilidad proporciona un alto nivel de granularidad en diferentes cargas de trabajo. Además, Orchestrator aprovecha al máximo las amplias capacidades de memoria de AMD, segmentando la memoria de alto ancho de banda (HBM) en regiones distintas para cada instancia de GPU.

Un diagrama titulado 'SoftBank Orchestrator: Optimización de los recursos de la GPU AMD' compara 'Antes: Asignación monolítica' y 'Después:' — Créditos de la imagen: SoftBank

Con este orquestador, SoftBank busca lograr un control preciso de los recursos computacionales, garantizando un aislamiento estricto a nivel de hardware para mitigar problemas de latencia impredecibles. Aunque aún no se han revelado las métricas de rendimiento específicas, SoftBank afirma que su enfoque mejora la asignación óptima de recursos, lo que beneficia especialmente a las cargas de trabajo SLM y MLM. De cara al futuro, la compañía planea adaptar estos orquestadores a otros aceleradores de IA, pero por el momento, la atención se centra en la tecnología de AMD.

Fuente e imágenes