Los procesadores AMD Ryzen AI MAX+ liberan 96 GB de memoria para gráficos de consumo, lo que permite la ejecución local de LLM de 128 B de parámetros en PC.

Los procesadores AMD Ryzen AI MAX+ liberan 96 GB de memoria para gráficos de consumo, lo que permite la ejecución local de LLM de 128 B de parámetros en PC.

AMD ha avanzado significativamente las capacidades de inteligencia artificial de borde para computadoras personales con su última actualización de controlador, lo que permite a los usuarios admitir modelos de lenguaje grandes (LLM).

AMD potencia las innovaciones de inteligencia artificial para el consumidor con la plataforma Strix Halo

Como actor destacado de la industria, AMD ha logrado avances notables en la integración de la computación de IA de alto rendimiento en los sistemas de consumo mediante sus innovadores motores XDNA. Las Unidades de Procesamiento Acelerado (APU) de la compañía, en particular las de las líneas Strix Point y Strix Halo, demuestran capacidades de IA excepcionales. La última versión del controlador Adrenalin Edition 25.8.1 introduce compatibilidad con modelos LLM que pueden alcanzar hasta 128 mil millones de parámetros, lo que allana el camino para que los dispositivos de consumo aprovechen modelos de IA avanzados, como el vanguardista Llama 4 Scout de Meta.

AMD Ryzen AI: Compatibilidad líder con Windows LLM, cuantificación de 4 a 16 bits, implementación delgada y ligera

Una de las características destacadas de la tecnología de AMD es su Memoria Gráfica Variable (VGM), que permite a los usuarios asignar hasta 96 GB de memoria gráfica a la GPU integrada (iGPU).Esta capacidad facilita la ejecución local de modelos de IA a gran escala. Por ejemplo, el modelo Llama opera con un diseño de mezcla de expertos (MoE) y solo utiliza 17 mil millones de parámetros durante su ejecución. En consecuencia, los usuarios pueden alcanzar un impresionante número de transacciones por segundo (TPS), lo que permite a la LLM funcionar eficientemente como un sofisticado asistente de IA.

AMD AI Max+ ejecuta hasta 128 B de parámetros; cuadro comparativo de uso de memoria por modelo.

Los avances de AMD van más allá de la mera potencia computacional; también han logrado mejoras significativas en el tamaño del contexto. Tradicionalmente, los procesadores de consumo admiten una longitud de contexto de aproximadamente 4096 tokens. Sin embargo, AMD ha alcanzado una impresionante longitud de contexto de 256 000 tokens, lo que mejora considerablemente el control del usuario sobre los flujos de trabajo y garantiza un rendimiento robusto de forma constante. Estos avances ilustran el rápido progreso de la tecnología de computación con IA en ordenadores personales, marcando un cambio notable en la industria.

Actualmente, la plataforma Strix Halo está disponible en un número limitado de dispositivos, y la accesibilidad sigue siendo un desafío para muchos consumidores, con algunos sistemas con precios superiores a $2, 000. A pesar del elevado costo, el compromiso de AMD con la democratización del poder de la IA es evidente, aun cuando adquirir estos dispositivos de vanguardia requiere una inversión financiera significativa.

Fuente e imágenes

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *