A SoftBank lançou um projeto ambicioso com o objetivo de aprimorar o desempenho dos chips Instinct AI da AMD, especificamente para aplicações de IA. Essa iniciativa emprega uma técnica de ponta de “particionamento de GPU” que despertou considerável interesse na comunidade tecnológica.
SoftBank implementa orquestrador personalizado para GPUs Instinct da AMD.
Embora a infraestrutura de IA da AMD não tenha atraído a atenção dos hiperescaladores recentemente — principalmente devido ao domínio da NVIDIA e ao recente lançamento da série Blackwell — empresas como a SoftBank ainda estão interessadas em aproveitar a tecnologia da AMD. Conforme anunciado em uma publicação recente no blog, a divisão de tecnologia da SoftBank lançou um Orchestrator que se integra perfeitamente aos chips de IA Instinct da AMD. Esse sistema aloca recursos computacionais dinamicamente de acordo com as demandas da carga de trabalho e a disponibilidade de recursos.
Em colaboração com a AMD, a SoftBank desenvolveu um recurso aprimorado do Orchestrator que aproveita os recursos de particionamento de GPU das GPUs AMD Instinct™, permitindo que uma única GPU seja usada como múltiplos dispositivos lógicos. Esse recurso possibilita a alocação flexível e otimizada de recursos de GPU com base nos requisitos da aplicação de IA, como tamanho do modelo e concorrência.
– SoftBank
Tecnicamente falando, o Orchestrator da SoftBank enfatiza a distribuição eficiente de cargas de trabalho nas GPUs Instinct da AMD. Ao aproveitar múltiplas instâncias de GPU configuradas em chips de complexo acelerador (XCDs) individuais, ele pode operar em diversos modos, incluindo um modelo de instância única (SPX) e configurações que suportam até oito instâncias (CPX).Essa versatilidade proporciona um alto nível de granularidade em diferentes cargas de trabalho. Além disso, o Orchestrator utiliza plenamente os amplos recursos de memória da AMD, segmentando a memória de alta largura de banda (HBM) em regiões distintas para cada instância de GPU.
Com este orquestrador, a SoftBank visa obter um controle refinado sobre os recursos computacionais, garantindo um isolamento rigoroso no nível do hardware para mitigar problemas de latência imprevisíveis. Embora as métricas de desempenho específicas ainda não tenham sido divulgadas, a SoftBank afirma que sua abordagem aprimora a “alocação ideal de recursos”, beneficiando particularmente as cargas de trabalho SLM e MLM. Olhando para o futuro, a empresa planeja adaptar esses orquestradores para outros aceleradores de IA, mas, por enquanto, o foco permanece na tecnologia AMD.