Porównanie testów porównawczych wnioskowania AI w MLPerf v5.1: uwaga skupiona na NVIDIA Blackwell Ultra GB300 i AMD Instinct MI355X

Najnowsze testy wnioskowania AI MLPerf v5.1 były świadkiem debiutu przełomowych układów NVIDIA i AMD: Blackwell Ultra GB300 i Instinct MI355X. Te wydajne procesory wzbudzają spore zainteresowanie w społeczności technologicznej ze względu na swoje znakomite parametry wydajności.

NVIDIA Blackwell Ultra GB300 i AMD Instinct MI355X: nowy test wydajności sztucznej inteligencji

Firma MLCommons opublikowała niedawno swoją najnowszą ocenę wydajności AI za pomocą testów porównawczych MLPerf v5.1, ujawniając godne uwagi zgłoszenia, w szczególności od firm NVIDIA i AMD. Blackwell Ultra GB300 i Instinct MI355X wyróżniają się jako czołowe produkty w dziedzinie technologii AI od swoich producentów. W niniejszej analizie dokładnie przyjrzymy się ich możliwościom zaprezentowanym w testach porównawczych.

Najważniejsze cechy wydajnościowe Blackwell Ultra GB300

W kategorii DeepSeek R1 (Offline) układ GB300 firmy NVIDIA przewyższa swojego poprzednika, GB200, osiągając znaczący wzrost wydajności o 45% w konfiguracjach z 72 procesorami graficznymi i o 44% w konfiguracji z 8 procesorami graficznymi. Te usprawnienia są zgodne z przewidywanym wzrostem wydajności firmy NVIDIA.

W kategorii DeepSeek R1 (serwer) komputer Blackwell poczynił znaczne postępy, osiągając 25-procentowy wzrost wydajności w przypadku 72 procesorów GPU oraz 21-procentowy wzrost w konfiguracjach z 8 procesorami GPU.

AMD Instinct MI355X wkracza na arenę

Procesor AMD Instinct MI355X również wniósł znaczący wkład, szczególnie w testy Llama 3.1 405B (Offline).Porównanie z GB200 wykazało znaczący wzrost wydajności o 27%, co świadczy o postępach AMD w sektorze sztucznej inteligencji.

Co więcej, w teście porównawczym z wykorzystaniem Llama 2 70B (offline) układ MI355X wykazał się imponującą przepustowością, generując do 648 248 tokenów na sekundę przy konfiguracji 64-chipowej i imponującym, 2, 09-krotnym wzrostem wydajności w porównaniu z układem NVIDIA GB200 w konfiguracji 8-chipowej.

Firma NVIDIA udostępniła szczegółową analizę swoich testów porównawczych, w tym różnych rekordów osiągniętych przez platformę Blackwell Ultra GB300. Wyniki te świadczą o znaczącym postępie w zakresie możliwości wnioskowania AI.

Źródło obrazu: NVIDIA

Kompleksowa tabela rekordów

Rekordy wnioskowania MLPerf na akcelerator
Reper	Niedostępny	Serwer	Interaktywny
DeepSeek-R1	5842 tokenów/sekundę/GPU	2907 tokenów/sekundę/GPU	**
Płomień 3.1 405B	224 tokeny/sekundę/GPU	170 tokenów/sekundę/GPU	138 tokenów/sekundę/GPU
Zadzwoń pod numer 2 70B 99, 9%	12 934 tokenów/sekundę/GPU	12 701 tokenów/sekundę/GPU	7856 tokenów/sekundę/GPU
Zadzwoń 2 70B 99%	13 015 tokenów/sekundę/GPU	12 701 tokenów/sekundę/GPU	7856 tokenów/sekundę/GPU
Lama 3.1 8B	18 370 tokenów/sekundę/GPU	16 099 tokenów/sekundę/GPU	15 284 tokenów/sekundę/GPU
Stabilna dyfuzja XL	4, 07 próbek/sekundę/GPU	3, 59 zapytań/sekundę/GPU	**
Mixtral 8x7B	16 099 tokenów/sekundę/GPU	16 131 tokenów/sekundę/GPU	**
DLRMv2 99%	87 228 próbek/sekundę/GPU	80 515 próbek/sekundę/GPU	**
DLRMv2 99, 9%	48 666 próbek/sekundę/GPU	46 259 zapytań/sekundę/GPU	**
Szept	5667 tokenów/sekundę/GPU	**	**
R-GAT	81 404 próbek/sekundę/GPU	**	**
Retinanet	1875 próbek/sekundę/GPU	1801 zapytań/sekundę/GPU	**

Co więcej, układ Blackwell Ultra firmy NVIDIA ustanowił nowe standardy rozumowania w testach MLPerf, przewyższając poprzednią architekturę Hopper o mnożnik 4, 7x w trybie offline i 5, 2x w konfiguracjach serwerowych, co wskazuje na znaczny skok w efektywności.

Porównanie wydajności DeepSeek-R1
Architektura	Niedostępny	Serwer
Zbiornik	1253 tokenów/sekundę/GPU	556 tokenów/sekundę/GPU
Blackwell Ultra	5842 tokenów/sekundę/GPU	2907 tokenów/sekundę/GPU
Blackwell Ultra Advantage	4, 7x	5, 2x

Z niecierpliwością czekamy na kolejne zgłoszenia MLPerf i przewidujemy, że NVIDIA, AMD i Intel będą nadal udoskonalać swoje platformy, dążąc do osiągnięcia jeszcze wyższej wydajności w tym konkurencyjnym środowisku.

Źródło i obrazy