La tecnologia AMD 3D V-Cache migliora le prestazioni dei processori Ryzen, incrementando l’efficienza dell’IA RAG dell’88% rispetto alle CPU senza X3D.

Le CPU AMD con 3D V-Cache mostrano un notevole miglioramento nei benchmark di intelligenza artificiale, in particolare nelle pipeline Retrieval-Augmented Generation (RAG), superando significativamente le loro controparti senza X3D.

Prestazioni comparative delle CPU AMD con e senza 3D V-Cache nelle applicazioni di intelligenza artificiale

L’intelligenza artificiale può essere implementata principalmente in due modi, e i modelli linguistici su larga scala (Large Language Models, LLM) sono attualmente i più diffusi. Questi modelli vengono pre-addestrati su set di dati estesi, ma incontrano difficoltà nel generare risposte al di fuori del loro ambito di addestramento.

È qui che la Retrieval-Augmented Generation (RAG) eccelle, utilizzando un database esterno per recuperare risposte a diverse query. I sistemi RAG forniscono risposte più dettagliate, sebbene a un ritmo leggermente più lento rispetto ai modelli lineari di apprendimento tradizionali.

Un grafico a barre che illustra come "l'IA agente sposta il collo di bottiglia della latenza dalle GPU alle CPU" mostra come l'elaborazione della CPU domini sempre più la latenza totale nei flussi di lavoro con un maggior numero di azioni.

RAG dipende fortemente dalle ricerche vettoriali nei database, dove le CPU svolgono un ruolo cruciale nonostante le GPU siano predominanti nell’elaborazione AI grazie alle loro capacità di elaborazione parallela. L’elevata richiesta di CPU durante le ricerche vettoriali può portare a colli di bottiglia nel sistema.

Con l’aumento dei carichi di lavoro nell’IA agentiva, si prevede che il ruolo delle prestazioni della CPU si affiancherà a quello del calcolo GPU, segnalando un cambiamento nell’utilizzo delle risorse.

Immagine ufficiale della CPU AMD Ryzen 7 9800X3D 3D V-Cache

In questi contesti, le CPU dotate di configurazioni di cache avanzate si rivelano vantaggiose. Un esempio è l’algoritmo di ricerca HNSW (Hierarchical Navigable Small World), che richiede l’intervento della CPU mentre le GPU gestiscono l’inferenza LLM. Una cache della CPU più ampia può velocizzare considerevolmente il processo di recupero per HNSW, migliorando l’efficacia complessiva dell’IA.

Per convalidare questa aspettativa, GiggleHD ha condotto il benchmark X3D RAG su diverse CPU, inclusa la serie Ryzen 9000X3D di AMD, ottenendo risultati convincenti.

X3D RAG Benchmark: un benchmark open-source progettato per valutare l’impatto della cache e dell’architettura della CPU sulle ricerche vettoriali basate su grafi e sulle fasi all’interno di pipeline RAG locali/on-premise. Questo benchmark è specificamente ottimizzato per CPU x86 ed è stato testato principalmente su sistemi AMD e Intel.

Progettato per PC personali e configurazioni di piccoli team (circa 100.000-200.000 vettori), non è rappresentativo dei servizi di database vettoriali distribuiti su larga scala.

Grafico a barre che mostra i risultati di '[x3d-rag-benchmark] Batch Search 100K(QPS)' con R7 9850X3D che ottiene il punteggio più alto a 66399.

Grafico a barre che illustra '[x3d-rag-benchmark] Batch Search 200K(QPS)' con U9 285K che ottiene il punteggio più alto a 49023.

I risultati del test Batch Search da 100.000 elementi hanno indicato che le CPU AMD con V-Cache 3D hanno raggiunto prestazioni fino all’88% superiori rispetto alle loro controparti senza V-Cache 3D. Nel benchmark Batch Search da 200.000 elementi, il Ryzen 7 9850X3D ha ottenuto un incremento prestazionale superiore al 50% rispetto al Ryzen 7 9700X. Sorprendentemente, la CPU a 8 core con V-Cache 3D ha superato persino il Ryzen 9 9950X a 16 core.

Grafico a barre che mostra i risultati di '[x3d-rag-benchmark] Index Build 100K(vec/s)' con R7 9700X che ottiene il punteggio più alto a 6, 08 vec/s.

Grafico a barre intitolato '[x3d-rag-benchmark] Index Build 200K(vec/s)' che mostra l'R7 9700X con un punteggio elevato di 15, 28.

Nei test per l’Index Build a 100.000, le CPU AMD hanno ridotto i tempi del 50%, mentre i risultati nei test a 200.000 sono migliorati del 39%.Anche le metriche di throughput sono risultate favorevoli per i modelli con 3D V-Cache. Tuttavia, durante le valutazioni del Concurrent RAG Throughput, le CPU Ryzen a 8 core con 3D V-cache hanno mostrato prestazioni costanti; le variazioni nel tempo di elaborazione del primo token (TTFT) tra le CPU sono state minime, evidenziando la dipendenza dalla GPU per questo specifico compito.

Il grafico a barre intitolato '[x3d-rag-benchmark] Throughput(req/s)' rivela che l'R7 9850X3D ha il throughput più elevato, pari a 19, 1 req/s.

Grafico a barre intitolato '[x3d-rag-benchmark] TTFT medio (più basso è meglio)' che indica che U9 285K ha ottenuto il punteggio più alto a 148, 5.

In sintesi, questi risultati evidenziano la superiorità delle CPU 3D V-Cache di AMD, dimostrando le loro solide prestazioni non solo nel gaming, ma anche nelle applicazioni AI RAG. Tra i punti di forza principali figurano le eccezionali capacità nella ricerca vettoriale, nella costruzione di indici e nella gestione di attività di elaborazione simultanea.

Guardando al futuro, AMD si appresta a presentare a breve la CPU Ryzen 9 9950X3D, dotata di due chip di cache V-cache 3D. L’attesa per questo modello è elevata, poiché promette la maggiore capacità di cache mai raggiunta da un processore desktop Ryzen.

Fonte e immagini