Firma SoftBank uruchomiła ambitny projekt mający na celu zwiększenie wydajności układów AMD Instinct AI, specjalnie przeznaczonych do zastosowań w sztucznej inteligencji. Inicjatywa ta wykorzystuje najnowocześniejszą technikę „partycjonowania GPU”, która wzbudziła duże zainteresowanie w środowisku technologicznym.
SoftBank wdraża niestandardowy Orchestrator dla procesorów graficznych Instinct firmy AMD
Chociaż infrastruktura AI AMD nie przyciągnęła ostatnio uwagi hiperskalerów – szczególnie ze względu na dominację NVIDII i niedawną premierę serii Blackwell – firmy takie jak SoftBank nadal chętnie korzystają z technologii AMD. Jak ogłoszono w niedawnym wpisie na blogu, dział technologiczny SoftBank wprowadził system Orchestrator, który płynnie integruje się z układami AI Instinct firmy AMD. System ten dynamicznie przydziela zasoby obliczeniowe w zależności od obciążenia i dostępności zasobów.
We współpracy z AMD, firma SoftBank opracowała ulepszoną funkcję Orchestrator, która wykorzystuje możliwości partycjonowania GPU w procesorach graficznych AMD Instinct™, umożliwiając używanie jednego GPU jako wielu urządzeń logicznych. Funkcja ta umożliwia elastyczną i optymalną alokację zasobów GPU w oparciu o wymagania aplikacji AI, takie jak rozmiar modelu i współbieżność.
– SoftBank
Z technicznego punktu widzenia, Orchestrator firmy SoftBank kładzie nacisk na efektywną dystrybucję obciążeń w procesorach graficznych AMD Instinct. Wykorzystując wiele instancji GPU skonfigurowanych na indywidualnych układach Accelerator Complex Dies (XCD), może działać w kilku trybach, w tym w modelu pojedynczej instancji (SPX) oraz konfiguracjach obsługujących do ośmiu instancji (CPX).Ta wszechstronność zapewnia wysoki poziom szczegółowości w przypadku różnych obciążeń. Ponadto Orchestrator w pełni wykorzystuje możliwości AMD w zakresie rozszerzonej pamięci, segmentując pamięć o wysokiej przepustowości (HBM) na oddzielne obszary dla każdej instancji GPU.
Dzięki temu Orchestratorowi, SoftBank dąży do osiągnięcia wyrafinowanej kontroli nad zasobami obliczeniowymi, zapewniając ścisłą izolację na poziomie sprzętowym w celu ograniczenia nieprzewidywalnych problemów z opóźnieniami. Chociaż konkretne wskaźniki wydajności nie zostały jeszcze ujawnione, SoftBank twierdzi, że ich podejście usprawnia „optymalną alokację zasobów”, co jest szczególnie korzystne dla obciążeń SLM i MLM. W przyszłości firma planuje dostosować takie Orchestratory do innych akceleratorów AI, ale na razie koncentruje się na technologii AMD.
Powiązane artykuły:
Microsoft wprowadza tryb Xbox dla wszystkich komputerów z systemem Windows 11, łącząc możliwości konsoli i komputera stacjonarnego
20:22
Samsung kończy produkcję pamięci LPDDR4 pomimo 50-krotnego wzrostu zysków, przewiduje narastające niedobory pamięci do 2027 r.
19:08
Kompletny przewodnik po analizie wydajności i dostrajaniu komputera PC w systemie Windrose w celu uzyskania optymalnego działania komputera
18:19
Dodaj komentarz