Raja Koduri se junta ao Conselho Consultivo de Memória Flash de Alta Largura de Banda da SanDisk para atingir capacidade de 8X-16X para GPUs de IA com 4 TB, custo-benefício comparado ao HBM

Raja Koduri se junta ao Conselho Consultivo de Memória Flash de Alta Largura de Banda da SanDisk para atingir capacidade de 8X-16X para GPUs de IA com 4 TB, custo-benefício comparado ao HBM

Raja Koduri assumiu um papel fundamental na SanDisk, com o objetivo de liderar o desenvolvimento da memória Flash de Alta Largura de Banda (HBF).Esta inovação foi projetada para aprimorar os recursos de inteligência artificial (IA), abordando as limitações da Memória de Alta Largura de Banda (HBM) tradicional, que frequentemente enfrenta restrições de capacidade.

Nomeação estratégica de Raja Koduri para o Conselho Consultivo de Memória HBF da SanDisk

O ex-arquiteto-chefe da Intel, Raja Koduri, que se aposentou da divisão de gráficos da gigante da tecnologia em 2023, agora se dedica a elevar a capacidade de VRAM em GPUs de IA. Seu recente anúncio de sua entrada no Conselho Consultivo Técnico da SanDisk destaca seu compromisso com o avanço da tecnologia de memória HBF, que promete melhorias significativas na capacidade de memória para GPUs de IA de próxima geração.

A colaboração de Raja com a SanDisk é notável devido à sua vasta experiência em desenvolvimento de GPUs e arquiteturas computacionais. Essa sinergia se alinha perfeitamente com a busca da SanDisk por desenvolver a tecnologia HBF que supere as desvantagens inerentes da HBM.

Diagrama de pilha Flash de alta largura de banda aprimorando a memória HBM com flash NAND para cargas de trabalho de IA.
A pilha HBF pode fornecer capacidade de memória várias vezes maior, mantendo a mesma largura de banda que o HBM.

Quando iniciamos o desenvolvimento do HBM, nosso foco era melhorar a largura de banda/watt e a largura de banda/mm² (ambas restrições importantes para dispositivos móveis), mantendo a capacidade competitiva com as soluções existentes. Com o HBF, o foco é aumentar significativamente a capacidade de memória (por dólar, por watt e por mm²), ao mesmo tempo em que oferecemos largura de banda competitiva.

Raja Koduri

Apesar dos rápidos avanços em HBM, que oferece com sucesso grandes capacidades de memória para superchips centrados em IA, o HBF tem o potencial de aumentar exponencialmente as capacidades de memória utilizando a tecnologia Through-Silicon Vias. Uma única pilha HBF pode habilitar capacidade de memória em nível de terabyte, e a integração de oito dessas pilhas em um sistema pode impulsionar GPUs de IA a atingir até 4 TB de VRAM, mantendo as características de alta largura de banda fornecidas pelo HBM. Esse desenvolvimento é crucial para atender às crescentes demandas de aplicações de IA.

É essencial entender que a tecnologia HBF da SanDisk não competirá diretamente com a DRAM em tarefas sensíveis à latência. Em vez disso, ela foi projetada para atender aos requisitos de memória de operações de IA, como inferência e treinamento de modelos em larga escala, que priorizam capacidade e largura de banda em detrimento da latência. O papel estratégico da Raja será fundamental para o avanço desta solução de memória de alta capacidade.

Comparação entre as capacidades de memória da GPU HBM e HBF.Representação visual dos recursos de memória da GPU: 192 GB HBM vs 4.096 GB HBF.Executando Frontier LLM com HBF: parâmetros de 1, 8T, pesos de 16 bits e 3.600 GB de memória para GPU.

Como a SanDisk pretende estabelecer o HBF como uma estrutura de padrão aberto, espera-se que esta iniciativa promova ampla adoção em todo o setor. A notável rede e experiência de Raja na construção de ecossistemas serão inestimáveis para aprimorar as colaborações com fabricantes de GPU.

A HBF está pronta para revolucionar a IA de ponta, equipando dispositivos com capacidade de memória e largura de banda que suportarão modelos sofisticados executados localmente em tempo real. Esse avanço inaugurará uma nova era de aplicações inteligentes de ponta, mudando fundamentalmente como e onde a inferência de IA é realizada.

– Raja Koduri

Para mais detalhes, visite o anúncio oficial da SanDisk.

Fonte e Imagens

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *