Superkomputer Frontier zasilany przez firmę AMD wykorzystuje 3 tys. ze swoich 37 tys. procesorów graficznych MI250X, aby osiągnąć imponujący wynik LLM wynoszący 1 bilion parametrów, porównywalny z ChatGPT-4

Superkomputer Frontier z procesorem AMD i procesorami graficznymi Instinct MI250X osiągnął wynik LLM wynoszący 1 bilion parametrów, rywalizując z ChatGPT-4.

Superkomputer Frontier ustanawia nowe rekordy w dziedzinie szkoleń LLM dzięki uprzejmości procesorów EPYC firmy AMD. Procesory graficzne Instynkt

Superkomputer Frontier to wiodący superkomputer na świecie i jedyna działająca obecnie maszyna eksaskalowa. Ta maszyna jest zasilana przez procesor AMD EPYC & Sprzęt Instinct, który nie tylko oferujenajwyższą wydajność HPC, ale jest także drugim najbardziej wydajnym superkomputerem na świecie najwyższą wydajność HPC a> przez pojedyncze osoby ujawnił, że superkomputer Frontier osiągnął zdolność uczenia jednego biliona parametrów poprzez „dostrajanie hiperparametrów”, ustanawiając tym samym nową branżę punkt odniesienia.Arxiv. Raport przesłany do

Zanim przejdziemy do sedna sprawy, podsumujmy szybko, co kryje się pod superkomputerem Frontier. Superkomputer firmy ORNL został zaprojektowany od podstaw z wykorzystaniem procesorów AMD EPYC Trento trzeciej generacji i akceleratorów graficznych Instinct MI250X. Jest zainstalowany w Narodowym Laboratorium Oak Ridge (ORNL) w Tennessee w USA, gdzie zarządza nim Departament Energii (DOE). Obecnie osiągnął 1,194 Exaflop/s przy 8 699 904 rdzeniach. Architektura HPE Cray EX łączy procesory AMD EPYC trzeciej generacji zoptymalizowane pod kątem HPC i AI, z akceleratorami AMD Instinct 250X i interkonektem Slingshot-11. Frontier utrzymał pierwsze miejsce na liście superkomputerów Top500.org, pokazując swoją dominację.

Nowe rekordy osiągnięte przez Frontier są wynikiem wdrożenia skutecznych strategii szkolenia LLM i najbardziej efektywnego wykorzystania sprzętu pokładowego. Zespołowi udało się osiągnąć godne uwagi wyniki dzięki szeroko zakrojonym testom 22 miliardów, 175 miliardów i 1 biliona parametrów, a uzyskane liczby są wynikiem optymalizacji i dostrajania procesu uczenia modeli. Wyniki osiągnięto dzięki zastosowaniu aż 3000 akceleratorów AI MI250X firmy AMD, które wykazały swoją wydajność pomimo tego, że są stosunkowo przestarzałym sprzętem.

Co ciekawsze, cały superkomputer Frontier mieści 37 000 procesorów graficznych MI250X, więc można sobie wyobrazić, jaką wydajność osiąga się przy wykorzystaniu całej puli procesorów graficznych do zasilania układów LLM. AMD jest również bliskie wdrożenia swoich akceleratorów graficznych MI300 w zupełnie nowych superkomputerach z solidnym ekosystemem ROCm 6.0 , co dodatkowo przyspiesza działanie sztucznej inteligencji.

Dla parametrów 22 miliardów, 175 miliardów i 1 biliona osiągnęliśmy przepustowość procesora graficznego odpowiednio 38,38%, 36,14% i 31,96%. W przypadku uczenia modelu parametrów 175 miliardów i modelu parametrów 1 biliona osiągnęliśmy 100% słabą wydajność skalowania odpowiednio na procesorach graficznych 1024 i 3072 MI250X. W przypadku tych dwóch modeli osiągnęliśmy również wysoką wydajność skalowania na poziomie 89% i 87%.

– Arvix

Źródło wiadomości: Arvix