NVIDIA Blackwell kontra AMD MI325X: Najnowsze wyniki testów porównawczych MLPerf Inference Benchmark pokazują, że B200 ustanawia rekordy, podczas gdy Instinct konkuruje z Hopper
Firmy NVIDIA i AMD niedawno ujawniły najnowsze wskaźniki wydajności dla narzędzia MLPerf Inference, prezentując swoje zaawansowane procesory graficzne, w tym Blackwell B200 i Instinct MI325X.
NVIDIA Blackwell B200 i AMD Instinct MI325X: najnowsze wyniki testów porównawczych MLPerf
Niedawno wydane testy porównawcze MLPerf Inference v5.0 podkreślają znaczące postępy, ponieważ obaj giganci GPU prezentują swoje najnowsze metryki wydajności chipów. Podczas gdy surowe możliwości GPU są kluczowe, skuteczna optymalizacja oprogramowania i kompleksowe wsparcie dla powstających ekosystemów AI również odgrywają kluczową rolę w tych wynikach.
NVIDIA Blackwell osiąga niespotykaną wydajność
Innowacyjny system GB200 NVL72, który integruje 72 procesory graficzne NVIDIA Blackwell, aby działać jako pojedynczy, rozległy procesor graficzny, osiągnął wyjątkowo 30-krotnie wyższą przepustowość w teście porównawczym Llama 3.1 405B w porównaniu z poprzednim wpisem NVIDIA H200 NVL8. To niezwykłe osiągnięcie wynika z ponad trzykrotnego zwiększenia wydajności na procesor graficzny i znacznie rozszerzonej domeny połączeń NVIDIA NVLink.
Chociaż wiele firm korzysta z testów wydajnościowych MLPerf, tylko NVIDIA i jej partnerzy przedstawili wyniki dotyczące testu wydajności Llama 3.1 405B.
Wdrożenia wnioskowania produkcyjnego często napotykają wyzwania związane z opóźnieniami w przypadku krytycznych metryk. Pierwszą z nich jest czas do pierwszego tokena (TTFT), wskazujący, ile czasu zajmuje użytkownikowi otrzymanie odpowiedzi z dużego modelu językowego. Drugą jest czas na token wyjściowy (TPOT), który mierzy, jak szybko tokeny są dostarczane użytkownikom.
Nowy test porównawczy Llama 2 70B Interactive wykazuje znaczące ulepszenia, z 5-krotnym zmniejszeniem TPOT i 4, 4-krotnym zmniejszeniem TTFT, co wskazuje na wyraźnie bardziej responsywne wrażenia użytkownika. W tym teście porównawczym zgłoszenie firmy NVIDIA, zasilane systemem NVIDIA DGX B200 z ośmioma procesorami graficznymi Blackwell, potroiło swoją wydajność w porównaniu z konfiguracją H200 z ośmioma procesorami graficznymi, ustanawiając wysoki standard w tym trudniejszym teście Llama 2 70B.
Zintegrowane możliwości architektury Blackwell w połączeniu z jej zoptymalizowanym frameworkiem programowym stanowią przełom w wydajności wnioskowania, umożliwiając fabrykom AI zwiększenie inteligencji, zwiększenie przepustowości i przyspieszenie tempa dostarczania tokenów.
Green Team, NVIDIA, po raz kolejny demonstruje swoją dominację w wydajności dzięki najnowszym procesorom graficznym Blackwell, zwłaszcza serii B200. Stojak GB200 NVL72 z 72 chipami B200 przewodzi stawce, zapewniając imponującą, 30-krotnie wyższą przepustowość wydajności w testach porównawczych Llama 3.1 405B w porównaniu z poprzednią generacją H200. Co więcej, wyniki testów porównawczych Llama 70B potwierdzają potrojenie wydajności w konfiguracji ośmiu procesorów graficznych B200 w porównaniu z konfiguracją ośmiu procesorów graficznych H200.
Ponadto AMD wprowadziło swój najnowszy akcelerator Instinct MI325X 256 GB, prezentowany w konfiguracji x8. Chociaż wyniki AMD są porównywalne z systemem H200, zwiększona pojemność pamięci znacząco sprzyja dużym modelom językowym (LLM).Nadal jednak pozostają w tyle za Blackwell B200. Aby utrzymać konkurencyjność, AMD będzie musiało utrzymać dynamikę zarówno w swojej ofercie sprzętowej, jak i programowej, zwłaszcza w obliczu przewidywanego pojawienia się platformy Ultra, B300, w dalszej części roku.
Ponadto testy porównawcze serii Hopper H200 wskazują na ciągłe wysiłki optymalizacyjne, co skutkuje niezwykłym 50-procentowym wzrostem wydajności wnioskowania w porównaniu z ubiegłym rokiem. To ulepszenie jest istotne dla firm, które coraz bardziej polegają na tych platformach w swoich działaniach.
Dodaj komentarz ▼