Zwolennicy firmy NVIDIA opowiadają się za nowym spojrzeniem na całkowity koszt posiadania sztucznej inteligencji, podkreślając kluczowy wskaźnik „koszt za token”

Zwolennicy firmy NVIDIA opowiadają się za nowym spojrzeniem na całkowity koszt posiadania sztucznej inteligencji, podkreślając kluczowy wskaźnik „koszt za token”

Wraz z rozwojem branży sztucznej inteligencji (AI), tradycyjne wskaźniki oceny infrastruktury AI stają się coraz bardziej przestarzałe. W odpowiedzi NVIDIA opowiada się za zmianą paradygmatu w rozumieniu całkowitego kosztu posiadania (TCO) AI poprzez wprowadzenie wskaźnika „ koszt na token ”.

NVIDIA redefiniuje całkowity koszt posiadania sztucznej inteligencji dzięki kosztowi za tokeny

W kontekście sztucznej inteligencji (AI), tokeny stały się najważniejszym wskaźnikiem. W przeciwieństwie do poprzednich generacji centrów danych, które koncentrowały się głównie na surowej mocy obliczeniowej, współczesne infrastruktury AI – zwane fabrykami AI – są oceniane na podstawie generowanych przez nie tokenów. Nacisk przesuwa się obecnie z prostego generowania dużej liczby tokenów na osiąganie wydajności i opłacalności. Dlatego kluczowe jest ponowne przemyślenie koncepcji całkowitego kosztu posiadania (TCO) dla fabryk AI.

NVIDIA podkreśla, że ​​wiele przedsiębiorstw nadal opiera się na przestarzałych wskaźnikach porównawczych, takich jak specyfikacje układów scalonych i koszty obliczeniowe. Zmiana podejścia jest niezbędna.

  • Koszty obliczeniowe : Są to wydatki ponoszone przez przedsiębiorstwa na infrastrukturę sztucznej inteligencji, niezależnie od tego, czy pochodzi ona od dostawców usług w chmurze, czy jest utrzymywana lokalnie.
  • FLOPS za dolara : Wskaźnik ten określa ilość mocy obliczeniowej, jaką przedsiębiorstwo uzyskuje za każdego wydanego dolara. Nie odzwierciedla on jednak dokładnie rzeczywistej wydajności tokenów.
  • Koszt na token : Liczba ta przedstawia kompleksową analizę kosztów produkcji każdego dostarczonego tokena, zwykle wyrażanych jako koszt na milion tokenów.
Slajd przedstawiający wzór obliczający „Koszt na milion tokenów” przy użyciu „Kosztu na GPU na godzinę” i „Tokenów na GPU na sekundę” pomnożonych przez „60 sek.× 60 min” i „1 milion”.

W swojej analizie NVIDIA wyjaśnia kilka czynników, które mogą przyczynić się do obniżenia kosztu tokena. Przedstawia równanie do obliczania kosztu na milion tokenów, podkreślając, że wiele przedsiębiorstw z branży AI koncentruje się głównie na liczniku – koszcie na godzinę pracy GPU – pomijając kluczowy mianownik, który znacząco wpływa na całkowity koszt i przychody.

  • Minimalizacja kosztów tokenów : Zwiększenie liczby tokenów może prowadzić do obniżenia kosztów na token, co w efekcie zwiększa marżę zysku z każdej przetwarzanej interakcji.
  • Maksymalizacja przychodów : Wzrost liczby tokenów dostarczanych na sekundę oznacza większą liczbę tokenów na megawat, przyczyniając się tym samym do zwiększenia inteligencji produktów i usług opartych na sztucznej inteligencji — z potencjałem zwiększenia przychodów z istniejących inwestycji w infrastrukturę.

Dlaczego to takie ważne? Podstawowa odpowiedź leży w fakcie, że dla przedsiębiorstw z branży AI priorytetem jest skupienie się na koszcie tokena, a nie na uproszczonych porównaniach, takich jak liczba flopów na dolara.

Grafika zatytułowana „Góra lodowa wniosków” przedstawia specyfikacje układów scalonych, w tym takie określenia jak „liczba flopsów na dolara” i „koszt na token”, podkreślając kwestie mocy obliczeniowej, pamięci i projektowania oprogramowania.

NVIDIA porównuje wskaźniki wydajności i kosztów swoich procesorów graficznych Hopper i Blackwell, ujawniając, że chociaż procesory graficzne Hopper są znacznie tańsze w eksploatacji – około dwukrotnie – liczba FLOPS-ów na dolara wskazuje na podobną, dwukrotną różnicę. Jednak samo to nie oddaje istotnych zalet oferowanych przez architekturę Blackwell.

Prawdziwe różnice ujawniają się, gdy weźmiemy pod uwagę przepustowość tokenów i koszt za milion tokenów. W tych obszarach Blackwell przewyższa Hoppera nawet 65 razy, a koszt za milion tokenów jest aż 35 razy niższy. Dla porównania, informacje te pochodzą z benchmarku InferenceX v2 firmy SemiAnalysis.

Metryczny NVIDIA Hopper (HGX H200) NVIDIA Blackwell (GB300 NVL72) NVIDIA Blackwell w porównaniu do Hoppera
Koszt na GPU za godzinę ($) 1, 41 dolara 2, 65 dolara 2x
FLOP za dolara (PFLOPS) 2.8 5.6 2x
Tokeny na sekundę na GPU 90 6000 65x
Tokeny na sekundę na MW 54 tys. 2, 8 mln 50x
Koszt za milion tokenów ($) 4, 20 zł 0, 12 USD 35x niżej

Choć można by odrzucić te liczby jako „matematykę CEO” firmy NVIDIA, istnieje istotna logika, która potwierdza ich znaczenie. NVIDIA szczyci się solidnym pakietem rozwiązań programowych z zakresu sztucznej inteligencji i konsekwentnie osiąga doskonałe wyniki w testach porównawczych, pozostawiając konkurencję daleko w tyle.

Dyrektor generalny firmy NVIDIA wezwał również inne firmy do przetestowania swoich układów, wymagając od nich dostarczenia dowodów na wyższą wydajność w porównaniu z produktami firmy NVIDIA.

„Nikt nie jest w stanie udowodnić mi, że jakakolwiek platforma na świecie ma obecnie lepszy wskaźnik całkowitego kosztu posiadania (TCO).Ani jedna firma… Zachęcam ich do korzystania z Inference Max i zademonstrowania ich niewiarygodnych kosztów wnioskowania. To naprawdę bardzo trudne… nikt nie chce się pojawić.”

Jensen Huang – dyrektor generalny NVIDIA

Definiując na nowo wskaźniki wpływające na wydajność sztucznej inteligencji, NVIDIA nie tylko ogłasza zwycięstwo w testach porównawczych; twierdzi również, że odgrywa kluczową rolę w ustalaniu wskaźników mających największe znaczenie dla przedsiębiorstw zajmujących się sztuczną inteligencją.

Źródło i obrazy

Powiązane artykuły:

Apple przygotowuje się do wykorzystania 2,4 eksabajtów pamięci LPDDR5 w 2023 roku w obliczu rosnących cen pamięci DRAM
Microsoft Edge ponownie wprowadza funkcję pionowych kart po wprowadzeniu przeglądarki Google Chrome

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *