Le cache virtuel 3D d’AMD améliore les performances des processeurs Ryzen, augmentant l’efficacité de l’IA RAG de 88 % par rapport aux processeurs non-X3D.

Les processeurs AMD dotés de la technologie 3D V-Cache présentent une amélioration remarquable dans les benchmarks d’IA, en particulier dans les pipelines de génération augmentée par récupération (RAG), surpassant largement leurs homologues non-X3D.

Performances comparatives des processeurs AMD avec et sans cache virtuel 3D dans les applications d’IA

L’intelligence artificielle peut être mise en œuvre de deux manières principales, les modèles de langage à grande échelle (LLM) étant actuellement les plus populaires. Ces modèles sont pré-entraînés sur de vastes ensembles de données, mais rencontrent des difficultés pour générer des réponses en dehors de leur champ d’entraînement.

C’est là que la génération augmentée par la recherche (RAG) excelle, en utilisant une base de données externe pour obtenir des réponses à des requêtes variées. Les systèmes RAG fournissent des réponses plus nuancées, bien qu’à un rythme légèrement plus lent que les modèles linéaires traditionnels.

RAG repose fortement sur les recherches dans les bases de données vectorielles, où les processeurs jouent un rôle crucial, même si les GPU prédominent dans le traitement de l’IA grâce à leurs capacités de parallélisation. Une forte demande en ressources processeur lors des recherches vectorielles peut engendrer des goulots d’étranglement au niveau du système.

Avec l’augmentation continue des charges de travail dans l’IA agentique, le rôle des performances du processeur devrait évoluer parallèlement à celui du calcul GPU, signalant un changement dans l’utilisation des ressources.

Dans ces contextes, les processeurs dotés de configurations de cache étendues présentent un avantage certain. L’algorithme de recherche HNSW (Hierarchical Navigable Small World) en est un exemple : il nécessite l’intervention du processeur tandis que les GPU prennent en charge l’inférence LLM. Un cache processeur plus important peut considérablement accélérer le processus de recherche pour HNSW, améliorant ainsi l’efficacité globale de l’IA.

Pour valider cette hypothèse, GiggleHD a réalisé le test X3D RAG Benchmark sur différents processeurs, notamment la série Ryzen 9000X3D d’AMD, obtenant des résultats convaincants.

X3D RAG Benchmark : un benchmark open source conçu pour évaluer l’impact du cache et de l’architecture du processeur sur les recherches vectorielles et les étapes au sein des pipelines RAG locaux/sur site. Ce benchmark est spécifiquement optimisé pour les processeurs x86 et a été principalement testé sur des systèmes AMD et Intel.

Conçu pour les PC personnels et les petites configurations d’équipe (environ 100 000 à 200 000 vecteurs), il n’est pas représentatif des services de bases de données vectorielles distribuées à grande échelle.

Les résultats du test par lots de 100 000 requêtes ont révélé que les processeurs AMD dotés de la technologie 3D V-Cache étaient jusqu’à 88 % plus rapides que leurs homologues sans 3D. Lors du test par lots de 200 000 requêtes, le Ryzen 7 9850X3D a affiché un gain de performances supérieur à 50 % par rapport au Ryzen 7 9700X. Fait remarquable, ce processeur 8 cœurs avec 3D V-Cache a même surpassé le Ryzen 9 9950X à 16 cœurs.

Lors des tests d’indexation à 100 000 téléchargements, les processeurs AMD ont réduit le temps d’exécution de 50 %, tandis que les résultats des tests à 200 000 téléchargements se sont améliorés de 39 %.Les indicateurs de débit étaient également favorables pour les modèles 3D V-Cache. Cependant, lors des évaluations de débit RAG simultanées, les processeurs Ryzen 8 cœurs 3D V-Cache ont affiché des performances constantes ; les variations de débit TTFT (temps d’accès au premier jeton) entre les processeurs étaient minimes, soulignant la dépendance du GPU pour cette tâche spécifique.

En résumé, ces résultats soulignent la supériorité des processeurs AMD dotés de la technologie 3D V-Cache, démontrant leurs performances exceptionnelles non seulement dans les jeux, mais aussi dans les applications d’IA RAG. Leurs principaux atouts résident dans leurs capacités remarquables en matière de recherche vectorielle, de construction d’index et de gestion des tâches de traitement simultanées.

AMD s’apprête à lancer prochainement le processeur Ryzen 9 9950X3D, doté de deux puces V-Cache 3D. Ce modèle est très attendu, car il promet la plus grande capacité de cache jamais vue sur un processeur Ryzen de bureau.

Source et images