AMD 3D V-Cache verbessert die Ryzen-Leistung und steigert die RAG-KI-Effizienz um 88 % im Vergleich zu CPUs ohne X3D.

Die 3D V-Cache-CPUs von AMD weisen eine bemerkenswerte Verbesserung in KI-Benchmarks auf, insbesondere in Retrieval-Augmented Generation (RAG)-Pipelines, und übertreffen ihre Non-X3D-Pendants deutlich.

Vergleich der Leistung von AMD-CPUs mit und ohne 3D-V-Cache in KI-Anwendungen

Künstliche Intelligenz lässt sich im Wesentlichen auf zwei Arten implementieren, wobei große Sprachmodelle (LLMs) derzeit die größte Beliebtheit genießen. Diese Modelle werden anhand umfangreicher Datensätze vortrainiert, stoßen jedoch auf Schwierigkeiten, wenn sie Antworten generieren sollen, die über ihren Trainingsumfang hinausgehen.

Hier liegt die Stärke von Retrieval-Augmented Generation (RAG), das eine externe Datenbank nutzt, um Antworten auf verschiedene Anfragen zu finden. RAG-Systeme liefern differenziertere Antworten, allerdings etwas langsamer als herkömmliche LLMs.

Ein Balkendiagramm veranschaulicht, wie Agentic AI den Latenzengpass von GPUs hin zu CPUs verlagert und zeigt, dass die CPU-Verarbeitung in aktionsintensiveren Arbeitsabläufen zunehmend die Gesamtlatenz dominiert.

RAG ist stark von Vektordatenbanksuchen abhängig, bei denen CPUs trotz der Dominanz von GPUs in der KI-Verarbeitung aufgrund ihrer Parallelverarbeitungsfähigkeiten eine entscheidende Rolle spielen. Eine hohe CPU-Auslastung während Vektorsuchen kann zu Systemengpässen führen.

Da die Arbeitslasten in Agentic AI weiter steigen, wird erwartet, dass die Rolle der CPU-Leistung derjenigen der GPU-Berechnung ähnelt, was auf eine Verschiebung in der Ressourcennutzung hindeutet.

Offizielles Bild der AMD Ryzen 7 9800X3D 3D V-Cache CPU

CPUs mit erweiterten Cache-Konfigurationen erweisen sich in diesen Kontexten als vorteilhaft. Ein Beispiel hierfür ist der HNSW-Suchalgorithmus (Hierarchical Navigable Small World), der die CPU-Beteiligung erfordert, während GPUs die LLM-Inferenz übernehmen. Ein größerer CPU-Cache kann den Abrufprozess für HNSW erheblich beschleunigen und so die Gesamteffizienz der KI steigern.

Um diese Erwartung zu bestätigen, führte GiggleHD den X3D RAG Benchmark auf verschiedenen CPUs durch, darunter auch auf AMDs Ryzen 9000X3D-Serie, und erzielte dabei überzeugende Ergebnisse.

X3D RAG Benchmark: Ein Open-Source-Benchmark zur Messung des Einflusses von CPU-Cache und -Architektur auf graphenbasierte Vektorsuchen und deren Phasen in lokalen/On-Premise-RAG-Pipelines. Dieser Benchmark ist speziell für x86-CPUs optimiert und wurde hauptsächlich auf AMD- und Intel-Systemen getestet.

Es wurde für PCs auf Einzelplatzrechnern und kleine Team-Setups (ca.100.000–200.000 Vektoren) entwickelt und ist daher nicht repräsentativ für groß angelegte verteilte Vektordatenbankdienste.

Balkendiagramm mit den Ergebnissen von '[x3d-rag-benchmark] Batch Search 100K(QPS)', wobei R7 9850X3D mit 66399 die höchste Punktzahl erreicht.

Balkendiagramm zur Veranschaulichung von '[x3d-rag-benchmark] Batch Search 200K(QPS)', wobei U9 285K mit 49023 den höchsten Wert erzielt.

Die Ergebnisse des 100K Batch Search-Benchmarks zeigten, dass AMDs 3D-V-Cache-CPUs bis zu erstaunliche 88 % schneller arbeiteten als ihre Pendants ohne 3D-Cache. Im 200K Batch Search-Benchmark erzielte der Ryzen 7 9850X3D eine Leistungssteigerung von über 50 % gegenüber dem Ryzen 7 9700X. Bemerkenswerterweise übertraf die 8-Kern-CPU mit 3D-V-Cache sogar den 16-Kern-Prozessor Ryzen 9 9950X.

Balkendiagramm zur Veranschaulichung der Ergebnisse von '[x3d-rag-benchmark] Index Build 100K(vec/s)', wobei R7 9700X mit 6, 08 vec/s den höchsten Wert erzielt.

Balkendiagramm mit dem Titel '[x3d-rag-benchmark] Index Build 200K(vec/s)', das den R7 9700X mit einem Höchstwert von 15, 28 zeigt.

Bei den Tests für den Index Build mit 100.000 Einträgen verkürzten AMDs CPUs die Laufzeit um 50 %, während sich die Ergebnisse bei den 200.000 Einträgen um 39 % verbesserten. Auch die Durchsatzwerte fielen für die 3D-V-Cache-Modelle positiv aus. Bei den Concurrent-RAG-Durchsatzbewertungen zeigten die 8-Kern-Ryzen-3D-V-Cache-CPUs jedoch eine konstante Leistung; die Abweichungen im Time-to-First-Token-Durchsatz (TTFT) zwischen den CPUs waren minimal, was die Abhängigkeit der GPU für diese spezifische Aufgabe unterstreicht.

Das Balkendiagramm mit dem Titel „[x3d-rag-benchmark] Durchsatz (Anfragen/s)“ zeigt, dass der R7 9850X3D mit 19, 1 Anfragen/s den höchsten Durchsatz aufweist.

Balkendiagramm mit dem Titel '[x3d-rag-benchmark] Durchschnittliche TTFT (niedriger ist besser)', das U9 285K mit dem höchsten Wert von 148, 5 ausweist.

Zusammenfassend unterstreichen diese Ergebnisse die Überlegenheit der 3D-V-Cache-CPUs von AMD und demonstrieren ihre robuste Leistungsfähigkeit nicht nur in Spielen, sondern auch in KI-RAG-Anwendungen. Zu den wichtigsten Stärken zählen herausragende Fähigkeiten bei Vektorsuchen, Indexerstellung und der Verarbeitung paralleler Aufgaben.

AMD wird in Kürze den Ryzen 9 9950X3D Prozessor vorstellen, der über zwei 3D-V-Cache-Dies verfügt. Die Erwartungen an dieses Modell sind hoch, da es die bisher größte Cache-Kapazität aller Ryzen-Desktop-Prozessoren verspricht.

Quellen & Bilder