AMD 3D V-Cache zwiększa wydajność Ryzen, zwiększając efektywność sztucznej inteligencji RAG o 88% w porównaniu z procesorami bez X3D

Procesory AMD 3D V-Cache wykazują się znaczącym wzrostem wydajności w testach porównawczych AI, zwłaszcza w potokach Retrieval-Augmented Generation (RAG), znacząco przewyższając swoje odpowiedniki bez technologii X3D.

Porównanie wydajności procesorów AMD z pamięcią podręczną 3D V-Cache i bez pamięci podręcznej 3D V-Cache w aplikacjach AI

Sztuczną inteligencję można wdrażać na dwa główne sposoby, przy czym obecnie najpopularniejsze są modele dużych języków (LLM).Modele te są wstępnie trenowane na rozległych zbiorach danych, ale napotykają trudności w generowaniu odpowiedzi wykraczających poza zakres ich szkolenia.

W tym miejscu technologia RAG (Retrieval-Augmented Generation) sprawdza się znakomicie, wykorzystując zewnętrzną bazę danych do wyszukiwania odpowiedzi na zróżnicowane zapytania. Systemy RAG zapewniają bardziej zniuansowane odpowiedzi, choć w nieco wolniejszym tempie niż tradycyjne systemy LLM.

Wykres słupkowy ilustrujący „Agentic AI przesuwa wąskie gardło opóźnień z procesorów GPU w kierunku procesorów CPU”, pokazujący, że przetwarzanie przez procesor CPU coraz bardziej dominuje nad całkowitym opóźnieniem w przypadku przepływów pracy wymagających większej liczby działań.

RAG w dużym stopniu opiera się na przeszukiwaniu baz danych wektorowych, w którym procesory odgrywają kluczową rolę, mimo że w przetwarzaniu AI dominują procesory graficzne (GPU) ze względu na ich możliwości przetwarzania równoległego. Wysokie zapotrzebowanie na moc obliczeniową procesora podczas przeszukiwania baz wektorowych może prowadzić do wąskich gardeł systemu.

W miarę jak obciążenia w agentowej sztucznej inteligencji (AI) będą się zwiększać, można się spodziewać, że rola wydajności procesora będzie porównywalna z rolą obliczeń GPU, co będzie sygnalizować zmianę w sposobie wykorzystania zasobów.

Oficjalny obraz procesora AMD Ryzen 7 9800X3D 3D V-Cache

Procesory z rozbudowaną konfiguracją pamięci podręcznej okazują się w tych kontekstach korzystne. Przykładem jest algorytm wyszukiwania HNSW (Hierarchical Navigable Small World), który wymaga zaangażowania procesora, podczas gdy procesory graficzne obsługują wnioskowanie LLM. Większa pamięć podręczna procesora może znacznie przyspieszyć proces wyszukiwania dla HNSW, zwiększając ogólną skuteczność sztucznej inteligencji.

Aby potwierdzić te oczekiwania, GiggleHD przeprowadził test porównawczy X3D RAG na różnych procesorach, w tym serii AMD Ryzen 9000X3D, uzyskując przekonujące wyniki.

X3D RAG Benchmark: Test porównawczy typu open source, zaprojektowany do pomiaru wpływu pamięci podręcznej procesora i architektury na wyszukiwanie wektorowe oparte na grafach i etapy w lokalnych/lokalnych potokach RAG. Ten test porównawczy został opracowany specjalnie dla procesorów x86 i był testowany głównie na systemach AMD i Intel.

Zaprojektowano go z myślą o komputerach osobistych i konfiguracjach małych zespołów (około 100 tys.–200 tys.wektorów) i nie jest reprezentatywny dla rozproszonych usług baz danych wektorowych na dużą skalę.

Wykres słupkowy przedstawiający wyniki wyszukiwania wsadowego [x3d-rag-benchmark] 100K(QPS), przy czym R7 9850X3D uzyskało najwyższy wynik — 66399.

Wykres słupkowy ilustrujący '[x3d-rag-benchmark] Wyszukiwanie wsadowe 200 tys.(QPS)', w którym U9 uzyskało najwyższy wynik – 49023.

Wyniki wyszukiwania wsadowego 100 tys.kopii wskazały, że procesory AMD z pamięcią podręczną 3D V-Cache działały aż o 88% szybciej niż ich odpowiedniki bez tej technologii. W teście wyszukiwania wsadowego 200 tys.kopii, Ryzen 7 9850X3D osiągnął wzrost wydajności przekraczający 50% w porównaniu z Ryzenem 7 9700X. Co godne uwagi, 8-rdzeniowy procesor z pamięcią podręczną 3D V-Cache przewyższył nawet 16-rdzeniowy Ryzen 9 9950X.

Wykres słupkowy przedstawiający wyniki „[x3d-rag-benchmark] Index Build 100K(vec/s)”, przy czym R7 9700X uzyskał najwyższy wynik – 6, 08 vec/s.

Wykres słupkowy zatytułowany „[x3d-rag-benchmark] Budowa indeksu 200K(vec/s)” przedstawiający procesor R7 9700X z wynikiem 15, 28.

W testach dla Index Build przy 100 tys.procesory AMD skróciły czas o 50%, a wyniki w testach przy 200 tys.poprawiły się o 39%.Parametry przepustowości były również korzystne dla modeli 3D V-Cache. Jednak podczas testów przepustowości Concurrent RAG, 8-rdzeniowe procesory Ryzen 3D V-Cache wykazały się spójną wydajnością; różnice w przepustowości czasu do pierwszego tokena (TTFT) między procesorami były minimalne, co wskazuje na zależność od GPU w tym konkretnym zadaniu.

Wykres słupkowy zatytułowany „[x3d-rag-benchmark] Przepustowość (req/s)” ujawnia, że R7 9850X3D ma najwyższą przepustowość na poziomie 19, 1 req/s.

Wykres słupkowy zatytułowany „[x3d-rag-benchmark] Średnia TTFT (im niższa, tym lepiej)” wskazuje, że U9 285K uzyskało najwyższy wynik na poziomie 148, 5.

Podsumowując, wyniki te podkreślają wyższość procesorów AMD 3D V-Cache, prezentując ich solidną wydajność nie tylko w grach, ale także w aplikacjach AI RAG. Do kluczowych atutów należą wyjątkowe możliwości wyszukiwania wektorowego, konstruowania indeksów i obsługi zadań przetwarzania współbieżnego.

Patrząc w przyszłość, AMD wkrótce wprowadzi na rynek procesor Ryzen 9 9950X3D, który będzie wyposażony w dwie kości pamięci podręcznej 3D V-cache. Oczekiwania wobec tego modelu są duże, ponieważ obiecuje on największą pojemność pamięci podręcznej spośród wszystkich dotychczasowych procesorów Ryzen do komputerów stacjonarnych.

Źródło i obrazy