La escasez masiva de CPU en el segmento de la nube, impulsada por el auge de la IA agente, está provocada por un aumento repentino de la demanda.

La escasez masiva de CPU en el segmento de la nube, impulsada por el auge de la IA agente, está provocada por un aumento repentino de la demanda.

El panorama de las cadenas de suministro tecnológicas está experimentando una importante agitación, con una grave escasez de GPU, memoria y ahora también de CPU, todo ello atribuido a la creciente demanda de IA agente.

Amazon y los proveedores de servicios en la nube se quedan sin CPU en medio de la creciente demanda de IA agente.

El meteórico auge de la IA agente está transformando la industria tecnológica, planteando serios desafíos para los proveedores de servicios en la nube y los fabricantes de semiconductores, que luchan por satisfacer la creciente demanda. Si bien la industria ya lidiaba con la escasez de suministro anterior, ahora enfrenta un déficit crítico de CPU, lo que marca un cambio significativo en la escasez de recursos.

Según un informe de Dylan Patel de Semianalysis, el cuello de botella para los proveedores de servicios en la nube se ha desplazado de las GPU a las CPU. Inicialmente, las GPU se utilizaban principalmente para tareas de inferencia más sencillas. Sin embargo, con la creciente complejidad de los modelos de IA y sus requisitos, las CPU son ahora cruciales para operaciones críticas, incluidas las interacciones con bases de datos y las simulaciones complejas, lo que ha dado lugar a un aumento drástico de la demanda de recursos de CPU en los centros de datos en la nube.

Tradicionalmente, los servidores en la nube operaban con un desequilibrio significativo, dependiendo a menudo de numerosas GPU por cada CPU. Por ejemplo, una configuración común podía incluir ocho GPU por cada CPU. Sin embargo, esta proporción se está reduciendo, ya que tanto las CPU como las GPU se utilizan ahora de forma más equitativa en aplicaciones de IA, como el entrenamiento de aprendizaje por refuerzo (RL) y la inferencia de agentes.

Este aumento repentino de la demanda ha provocado inestabilidad en plataformas como GitHub, ya que los usuarios han comenzado a reportar frecuentes interrupciones del servicio y fallos al confirmar los cambios.

Sí, hemos estado revisando las estadísticas de GitHub para ver con qué frecuencia se cae, con qué frecuencia falla al confirmar cambios, ya sabes, lo que sea, ¿verdad? Es terrible. Y eso es porque Microsoft vendió todas las CPU que tenía de sobra a otras personas, ¿no? Ya sea para uso interno en su laboratorio, pero, ya sabes, no realmente, más bien a laboratorios externos que firman acuerdos con Entropic y OpenAI.

Y entonces ya no les quedan CPU, ¿verdad? Y hemos visto lo mismo en muchas otras empresas, ¿verdad? Antes, había muchos servidores GPU por cada servidor CPU. Por lo tanto, 100 megavatios de GPU eran atendidos por tan solo un megavatio o menos de CPU. Hoy en día, la proporción se está acercando mucho, tanto para el entrenamiento de RL como para la inferencia, la inferencia agéntica. Entonces, hemos visto que todos se han quedado sin CPU. Los volúmenes de CPU de Amazon.

Dylan Patel (Semianálisis)

La principal causa de esta crisis de CPU parece ser la abrumadora demanda, que ha dejado a proveedores de servicios en la nube como Amazon y Microsoft sin existencias de CPU disponibles. El elevado consumo refleja un cambio hacia empresas de IA, como OpenAI y Entropic, que han aprovechado sus relaciones para asegurar recursos de CPU. Incluso con los ambiciosos planes de Amazon de triplicar su oferta de servidores con CPU anualmente, no logran satisfacer la creciente demanda.

Además, la transición de OpenAI de la arquitectura x86 a la ARM, impulsada por la disponibilidad de las CPU Amazon Graviton, ha agravado la situación. Esta migración a ARM tenía como objetivo paliar la escasez de procesadores. Desafortunadamente, ha intensificado la demanda de chips ARM, especialmente por parte de empresas de IA que han adaptado sus bases de código para aprovechar estos recursos.

Las implicaciones para el sector tecnológico son alarmantes: se vislumbra una grave escasez de CPU. Será necesario que diversos proveedores aumenten su producción para satisfacer esta demanda. La situación afectará no solo a los chips ARM, sino también a los procesadores x86, ya que AMD e Intel están presionando a sus cadenas de suministro para dar soporte a los proveedores de servicios en la nube. NVIDIA también está incrementando la producción de sus racks de CPU Vera, que incluyen múltiples chips y una considerable capacidad de DRAM. Este enfoque en la IA probablemente desviará recursos de los mercados de consumo y empresariales, lo que se traducirá en precios más altos y una disponibilidad limitada para el mercado general.

Fuente e imágenes

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *