La tecnología AMD 3D V-Cache mejora el rendimiento de Ryzen, aumentando la eficiencia de RAG AI en un 88 % en comparación con las CPU sin X3D.

Las CPU 3D V-Cache de AMD muestran una mejora notable en las pruebas de rendimiento de IA, en particular en las canalizaciones de generación aumentada por recuperación (RAG), superando significativamente a sus homólogas que no son X3D.

Rendimiento comparativo de las CPU con y sin caché virtual 3D de AMD en aplicaciones de IA

La inteligencia artificial se puede implementar principalmente de dos maneras, siendo los modelos de lenguaje a gran escala (LLM, por sus siglas en inglés) los más populares actualmente. Estos modelos se entrenan previamente con conjuntos de datos extensos, pero presentan dificultades al generar respuestas que van más allá de su ámbito de entrenamiento.

Aquí es donde destaca la Generación Aumentada por Recuperación (RAG), que utiliza una base de datos externa para obtener respuestas a diversas consultas. Los sistemas RAG proporcionan respuestas más detalladas, aunque a un ritmo algo más lento en comparación con los sistemas LLM tradicionales.

RAG depende en gran medida de las búsquedas en bases de datos vectoriales, donde las CPU desempeñan un papel crucial a pesar de que las GPU predominan en el procesamiento de IA debido a sus capacidades de procesamiento paralelo. Una alta demanda de CPU durante las búsquedas vectoriales puede provocar cuellos de botella en el sistema.

A medida que la carga de trabajo en la IA agente continúa aumentando, se espera que el papel del rendimiento de la CPU sea paralelo al de la computación de la GPU, lo que indica un cambio en la utilización de los recursos.

En estos contextos, las CPU con configuraciones de caché avanzadas resultan ventajosas. Un ejemplo es el algoritmo de búsqueda HNSW (Hierarchical Navigable Small World), que requiere la participación de la CPU mientras que las GPU se encargan de la inferencia LLM. Una caché de CPU más grande puede acelerar considerablemente el proceso de recuperación para HNSW, mejorando así la eficacia general de la IA.

Para validar esta expectativa, GiggleHD realizó la prueba de rendimiento X3D RAG Benchmark en varias CPU, incluida la serie Ryzen 9000X3D de AMD, obteniendo resultados convincentes.

X3D RAG Benchmark: Una herramienta de evaluación comparativa de código abierto diseñada para medir el impacto de la caché y la arquitectura de la CPU en las búsquedas vectoriales basadas en grafos y las etapas dentro de las canalizaciones RAG locales/en la propia CPU. Esta herramienta está específicamente diseñada para CPU x86 y se ha probado principalmente en sistemas AMD e Intel.

Diseñado para ordenadores personales y configuraciones de equipos pequeños (aproximadamente entre 100.000 y 200.000 vectores), no es representativo de los servicios de bases de datos vectoriales distribuidas a gran escala.

Los resultados de la prueba de búsqueda por lotes de 100 000 unidades indicaron que las CPU con caché virtual 3D de AMD funcionaron hasta un 88 % más rápido que sus contrapartes sin caché virtual 3D. En la prueba de rendimiento por lotes de 200 000 unidades, el Ryzen 7 9850X3D logró una mejora de rendimiento superior al 50 % en comparación con el Ryzen 7 9700X. Sorprendentemente, la CPU con caché virtual 3D de 8 núcleos superó incluso al Ryzen 9 9950X de 16 núcleos.

En las pruebas de Index Build a 100K, las CPU de AMD redujeron el tiempo en un 50%, mientras que los resultados en las pruebas de 200K mejoraron en un 39%.Las métricas de rendimiento también fueron favorables para los modelos 3D V-Cache. Sin embargo, durante las evaluaciones de rendimiento RAG concurrente, las CPU Ryzen 3D V-Cache de 8 núcleos mostraron un rendimiento constante; las variaciones en el rendimiento del tiempo hasta el primer token (TTFT) entre las CPU fueron mínimas, lo que destaca la dependencia de la GPU para esta tarea específica.

En resumen, estos hallazgos resaltan la superioridad de las CPU 3D V-Cache de AMD, demostrando su sólido rendimiento no solo en juegos, sino también en aplicaciones de IA RAG. Entre sus principales fortalezas se incluyen capacidades excepcionales en búsquedas vectoriales, construcción de índices y manejo de tareas de procesamiento concurrente.

De cara al futuro, AMD se prepara para presentar próximamente el procesador Ryzen 9 9950X3D, que incorpora dos chips de caché 3D V-cache. La expectación por este modelo es alta, ya que promete la mayor capacidad de caché de cualquier procesador Ryzen para ordenadores de sobremesa hasta la fecha.

Fuente e imágenes