Trillium TPU firmy Google: Nowa era w akceleracji AI
Dziesięć lat temu Google rozpoczęło swoją podróż, aby stworzyć niestandardowe akceleratory AI znane jako Tensor Processing Units (TPU). Na początku 2023 roku gigant technologiczny zaprezentował TPU szóstej generacji o nazwie Trillium, który wyznacza nowe standardy zarówno pod względem wydajności, jak i efektywności, przewyższając poprzednie modele. Dzisiaj Google ogłosiło, że TPU Trillium są teraz powszechnie dostępne dla klientów Google Cloud, jednocześnie ujawniając, że te potężne TPU odegrały kluczową rolę w szkoleniu ich najnowszego modelu, Gemini 2.0.
Włamanie do ekosystemu programistów AI
Procesory graficzne firmy Nvidia stały się dominującym wyborem wśród programistów AI, nie tylko ze względu na wyjątkowy sprzęt, ale także ze względu na solidne wsparcie oprogramowania. Aby wzbudzić podobny entuzjazm dla układów TPU Trillium, Google wprowadziło znaczące ulepszenia do swojego frameworka oprogramowania. Obejmuje to optymalizacje kompilatora XLA, a także popularnych frameworków AI, takich jak JAX, PyTorch i TensorFlow, umożliwiając programistom maksymalizację opłacalności w zakresie szkolenia, dostrajania i wdrażania AI.
Kluczowe udoskonalenia w układach TPU Trillium
Moduły TPU Trillium oferują szereg istotnych udoskonaleń w stosunku do poprzedniej generacji, w tym:
- Wydajność treningu wzrosła ponad 4-krotnie
- Przepustowość wnioskowania zwiększona nawet trzykrotnie
- Efektywność energetyczna wzrosła o 67%
- Maksymalna wydajność obliczeniowa na chip wzrosła o imponujące 4,7x
- Podwojona pojemność pamięci o dużej przepustowości (HBM)
- Przepustowość połączenia międzyprocesorowego (ICI) również wzrosła dwukrotnie
- Możliwość wdrożenia 100 000 układów Trillium w zunifikowanej strukturze sieciowej Jupiter
- Wydajność szkolenia w przeliczeniu na dolara wzrosła nawet 2,5-krotnie, a wydajność wnioskowania nawet 1,4-krotnie
Skalowalność i dostępność
Google poinformowało, że procesory TPU Trillium mogą osiągnąć imponującą wydajność skalowania na poziomie 99% przy konfiguracji 12 modułów składających się z 3072 układów scalonych oraz wydajność na poziomie 94% w przypadku 24 modułów wykorzystujących 6144 układów scalonych, co sprawia, że nadają się do wstępnego trenowania dużych modeli, takich jak GPT-3 ze 175 miliardami parametrów.
Obecnie Trillium jest dostępny do wdrożenia w kluczowych regionach, w tym w Ameryce Północnej (US East), Europie (West) i Azji (Northeast). Dla użytkowników zainteresowanych oceną koszt zaczyna się od 2,7000 USD za chip-godzinę. Ponadto zobowiązania długoterminowe oferują obniżone stawki 1,8900 USD za chip-godzinę przez rok i 1,2200 USD za chip-godzinę przez trzy lata.
Wniosek
Dzięki skalowalności i ulepszonym możliwościom oprogramowania Trillium stanowi istotny krok naprzód w strategii Google dotyczącej infrastruktury sztucznej inteligencji w chmurze, co stawia firmę w pozycji poważnego konkurenta na rozwijającym się rynku akceleratorów sztucznej inteligencji.
Powiązane artykuły:
Australia wymaga od gigantów technologicznych rekompensaty dla lokalnych wydawców mediów za treści informacyjne
7:35
Najnowsze przecieki dotyczące Google Pixel 9a ujawniają pełną specyfikację i cenę
5:19
Narzędzie Gemini Deep Research AI: analizuj złożone tematy i generuj raporty bez wysiłku
18:47
Dodaj komentarz