Micron ha presentado un avance fundamental en el sector de la tecnología de memoria con la introducción de los módulos de memoria SOCAMM2, que prometen una mayor capacidad y una mejor eficiencia energética.
SOCAMM2 de Micron: cómo abordar los cuellos de botella de la memoria y reducir la latencia con KV-Cache
A medida que evolucionan las aplicaciones de inteligencia artificial, el problema de los cuellos de botella en la memoria se ha intensificado debido al aumento de las cargas de trabajo. Este desafío ha impulsado a los fabricantes de DRAM a priorizar las innovaciones en memoria de alto ancho de banda (HBM) y otras soluciones de memoria orientadas a la IA. En un anuncio reciente, Micron anunció un logro revolucionario con sus módulos SOCAMM2, que cuentan con una capacidad por módulo de 256 GB. Este desarrollo representa un aumento sustancial respecto al límite anterior de 192 GB, lo que permite que SOCAMM2 desempeñe un papel crucial en la infraestructura de IA moderna al abordar las limitaciones de memoria existentes.
Los logros de Micron al ofrecer una enorme capacidad de memoria y ancho de banda utilizando menos energía que la memoria de servidor tradicional con SOCAMM2 de 256 GB están haciendo posible la próxima generación de CPU de IA.
– Ian Finder, director de producto de CPU para centros de datos en NVIDIA
La última versión de SOCAMM2 presenta un avance que permite que una sola matriz monolítica LPDRAM alcance los 32 GB. En consecuencia, el módulo de 256 GB proporciona hasta 2 TB de LPDRAM por cada CPU de 8 canales, optimizando la capacidad de los servidores de IA para procesar eficazmente ventanas de contexto prolongadas. Además, Micron ha indicado que el tiempo hasta el primer token (TTFT) para la inferencia de contexto largo se ha mejorado 2, 3 veces, lo que mejora significativamente el rendimiento de las cargas de trabajo centradas en aplicaciones de agente.
La tecnología SOCAMM2 se desarrolló en colaboración con NVIDIA, y en conversaciones anteriores se destacó que la infraestructura de IA de Vera Rubin será una de las primeras aplicaciones de este estándar de memoria. En el dinámico campo de la IA, la memoria de alto rendimiento es cada vez más vital para cargas de trabajo que requieren baja latencia y una capacidad de contexto significativa. Sin embargo, es importante destacar que las capacidades de SOCAMM2 también podrían afectar la disponibilidad de DRAM, lo que podría afectar la asignación de memoria para productos de propósito general como GDDR7.
Micron ha confirmado que se han distribuido muestras de los módulos SOCAMM2 de 256 GB a los clientes y que se realizará una demostración de esta innovadora solución en GTC 2026.