Raja Koduri se une al consejo asesor de memoria flash de alto ancho de banda de SanDisk para lograr una capacidad de 8 a 16 veces mayor para GPU de IA con 4 TB, lo que resulta rentable en comparación con HBM.

Raja Koduri se une al consejo asesor de memoria flash de alto ancho de banda de SanDisk para lograr una capacidad de 8 a 16 veces mayor para GPU de IA con 4 TB, lo que resulta rentable en comparación con HBM.

Raja Koduri ha asumido un rol clave en SanDisk, con el objetivo de liderar el desarrollo de la memoria Flash de Alto Ancho de Banda (HBF).Esta innovación está diseñada para mejorar las capacidades de inteligencia artificial (IA) al abordar las limitaciones de la memoria de alto ancho de banda (HBM) tradicional, que a menudo presenta limitaciones de capacidad.

Nombramiento estratégico de Raja Koduri para el Consejo Asesor de Memoria HBF de SanDisk

Raja Koduri, exarquitecto jefe de Intel, quien se jubiló de la división de gráficos del gigante tecnológico en 2023, ahora se dedica a aumentar la capacidad de VRAM en las GPU de IA. Su reciente anuncio de unirse al Consejo Asesor Técnico de SanDisk pone de manifiesto su compromiso con el avance de la tecnología de memoria HBF, que promete mejoras significativas en la capacidad de memoria para las GPU de IA de próxima generación.

La colaboración de Raja con SanDisk es destacable gracias a su amplia experiencia en el desarrollo de GPU y arquitecturas computacionales. Esta sinergia se alinea perfectamente con el objetivo de SanDisk de desarrollar tecnología HBF que supere las desventajas inherentes de HBM.

Diagrama de pila Flash de alto ancho de banda que mejora la memoria HBM con flash NAND para cargas de trabajo de IA.
La pila HBF puede ofrecer una capacidad de memoria varias veces mayor manteniendo el mismo ancho de banda que HBM.

Al iniciar el desarrollo de HBM, nos centramos en mejorar el ancho de banda por vatio y por mm² (ambas limitaciones importantes para la telefonía móvil), manteniendo al mismo tiempo una capacidad competitiva con las soluciones existentes. Con HBF, el objetivo es aumentar significativamente la capacidad de memoria (por dólar, por vatio y por mm²) y, al mismo tiempo, ofrecer un ancho de banda competitivo.

Raja Koduri

A pesar de los rápidos avances en HBM, que ha ofrecido con éxito grandes capacidades de memoria para superchips centrados en IA, HBF tiene el potencial de aumentar exponencialmente las capacidades de memoria mediante el uso de la tecnología Through-Silicon Vias. Una sola pila HBF puede alcanzar una capacidad de memoria de terabytes, y la integración de ocho de estas pilas en un sistema puede impulsar las GPU de IA a alcanzar hasta 4 TB de VRAM, manteniendo las características de alto ancho de banda que ofrece HBM. Este desarrollo es crucial para satisfacer la creciente demanda de aplicaciones de IA.

Es fundamental comprender que la tecnología HBF de SanDisk no competirá directamente con la DRAM en tareas sensibles a la latencia. En cambio, está diseñada para satisfacer los requisitos de memoria de las operaciones de IA, como la inferencia y el entrenamiento de modelos a gran escala, que priorizan la capacidad y el ancho de banda sobre la latencia. El rol estratégico de Raja será fundamental para impulsar esta solución de memoria de alta capacidad.

Comparación entre las capacidades de memoria de la GPU HBM y HBF.Representación visual de las capacidades de memoria de la GPU: 192 GB HBM frente a 4096 GB HBF.Ejecución de Frontier LLM con HBF: parámetros 1.8T, pesos de 16 bits y 3600 GB de memoria para GPU.

Dado que SanDisk busca establecer HBF como un marco de estándares abiertos, se espera que esta iniciativa fomente una adopción generalizada en toda la industria. La destacada red de contactos y la experiencia de Raja en la creación de ecosistemas serán invaluables para fortalecer las colaboraciones con los fabricantes de GPU.

HBF revolucionará la IA de borde al equipar dispositivos con capacidad de memoria y ancho de banda que admitirán modelos sofisticados que se ejecutan localmente en tiempo real. Este avance marcará el inicio de una nueva era en aplicaciones inteligentes de borde, transformando fundamentalmente cómo y dónde se realiza la inferencia de IA.

– Raja Koduri

Para obtener más detalles, visita el anuncio oficial de SanDisk.

Fuente e imágenes

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *