Firma NVIDIA zaprezentowała swoje najnowsze rozwiązanie obliczeniowe dla hiperskalerów: Blackwell Ultra. Najnowsze testy wydajności GB300 NVL72 ujawniają jego wyjątkową wydajność, szczególnie w zastosowaniach wymagających niskich opóźnień i rozbudowanego kontekstu.
Szafy Blackwell Ultra AI firmy NVIDIA: zwiększona wydajność agentów dzięki postępom w technologii NVLink
Krajobraz sztucznej inteligencji (AI) przeszedł transformacyjne zmiany od czasu gwałtownego wzrostu w 2022 roku, ze szczególnym naciskiem na przetwarzanie agentowe, oparte na zaawansowanych aplikacjach i frameworkach. Dla dostawców infrastruktury, takich jak NVIDIA, konieczność zapewnienia wysokiej przepustowości i wydajności pamięci ma kluczowe znaczenie dla spełnienia rygorystycznych wymagań dotyczących opóźnień w tych zaawansowanych systemach. Seria Blackwell Ultra skutecznie stawia czoła temu wyzwaniu. W niedawnej ocenie udostępnionej przez firmę NVIDIA we wpisie na blogu, Blackwell Ultra zademonstrował znakomite wyniki w teście InferenceMAX firmy SemiAnalysis.
NVIDIA podkreśla kluczową metrykę, zwaną „token/wat”, która ma kluczowe znaczenie we współczesnym rozwoju hiperskalerów. Nacisk na poprawę zarówno wydajności, jak i przepustowości jest widoczny, a GB300 NVL72 osiągnął imponujący, 50-krotny wzrost przepustowości na megawat w porównaniu z poprzednią generacją procesorów graficznych Hopper. Porównanie obrazowe przedstawia optymalny „stan wdrożenia” każdej z architektur.
W jaki sposób NVIDIA osiąga tak oszałamiający wzrost przepustowości? Odpowiedź leży w jej najnowocześniejszej technologii NVLink. Blackwell Ultra oferuje konfigurację z 72 GPU, które łączą się w jedną strukturę NVLink, oferując imponującą przepustowość 130 TB/s. Z kolei seria Hopper wykorzystuje 8-chipową konstrukcję NVLink, która, choć efektywna, nie dorównuje innowacyjnej architekturze i układowi Blackwell Ultra. Dodatkowo, wprowadzenie precyzyjnego formatu NVFP4 jest kluczowe, umacniając dominację GB300 pod względem przepustowości.
Wraz z rozwojem „agentowej sztucznej inteligencji”, oceny GB300 NVL72 firmy NVIDIA podkreślają również koszty tokenów, a także wspomniane ulepszenia. Zespół Green odnotowuje znaczący, 35-krotny spadek kosztu na milion tokenów, co plasuje ten system jako najlepszy wybór do zadań inferencyjnych wśród laboratoriów pionierskich i hiperskalerów. Ponieważ prawa skalowania ewoluują w niespotykanym dotąd tempie, NVIDIA przypisuje te wzrosty wydajności swojej strategii „ekstremalnego współprojektowania”, obok tego, co obecnie powszechnie nazywa się prawem Huanga.
Porównując GB300 NVL72 z serią Hopper, należy koniecznie uwzględnić niuanse różnic w węzłach obliczeniowych i projektach architektonicznych. NVIDIA porównała również GB200 z GB300 NVL72, aby ocenić wydajność zadań długokontekstowych. Ograniczenia kontekstowe pozostają istotnym czynnikiem dla agentów, ponieważ zarządzanie rozległą bazą kodu może wykładniczo zwiększyć wykorzystanie tokenów. Dzięki Blackwell Ultra, NVIDIA może raportować nawet 1, 5-krotnie niższy koszt na token i 2-krotnie szybsze przetwarzanie uwagi, co czyni go wyjątkowo odpowiednim do zadań skoncentrowanych na agentach.
Wraz z rozpoczęciem integracji Blackwell Ultra ze środowiskami hiperskalerowymi, te testy porównawcze stanowią jedne z najwcześniejszych ewaluacji tej architektury. Wstępne wyniki sugerują, że NVIDIA utrzymała solidną skalowalność wydajności, dostosowaną do współczesnych zastosowań AI. Co więcej, dzięki nadchodzącym udoskonaleniom, takim jak te oczekiwane od Very Rubin, generacja Blackwell może jeszcze bardziej wzmocnić pozycję NVIDIA w konkurencyjnym krajobrazie infrastruktury.
Powiązane artykuły:
Microsoft wprowadza tryb Xbox dla wszystkich komputerów z systemem Windows 11, łącząc możliwości konsoli i komputera stacjonarnego
20:22
Samsung kończy produkcję pamięci LPDDR4 pomimo 50-krotnego wzrostu zysków, przewiduje narastające niedobory pamięci do 2027 r.
19:08
Kompletny przewodnik po analizie wydajności i dostrajaniu komputera PC w systemie Windrose w celu uzyskania optymalnego działania komputera
18:19
Dodaj komentarz