Taalas: nowy producent układów AI, który integruje modele AI bezpośrednio z krzemem, aby zwiększyć szybkość i efektywność kosztową; wstępne wyniki przewyższają obecne rozwiązania

Startup Taalas stał się pionierem w rozwiązywaniu problemów związanych z opóźnieniami reakcji i wydajnością powiązanych z dużymi modelami językowymi (LLM) poprzez unikalne opracowanie specjalistycznego sprzętu, który skutecznie „integruje” modele AI z krzemem.

Przełomowe udoskonalenia w zakresie wydajności i efektywności kosztowej studiów LLM

W obecnym krajobrazie obliczeń AI opóźnienia stały się krytycznym ograniczeniem dla dostawców, ponieważ wydajność mierzona liczbą tokenów na sekundę (TPS) ma kluczowe znaczenie dla osiągnięcia szybkiego wykonywania zadań. Chociaż integracja pamięci SRAM jest jednym z potencjalnych rozwiązań – rozważanym przez firmy takie jak Cerebras i Groq – Taalas zdecydował się obrać inną ścieżkę. Firma przestawia się z obliczeń ogólnego przeznaczenia na wykorzystanie układów ASIC specjalnie dostosowanych do komputerów LLM.

Założona 2, 5 roku temu firma Taalas opracowała platformę do przekształcania dowolnego modelu AI w dedykowany układ krzemowy. Od momentu otrzymania niewidocznego wcześniej modelu, można go wdrożyć sprzętowo w zaledwie dwa miesiące. Powstałe w ten sposób modele Hardcore są o rząd wielkości szybsze, tańsze i zużywają mniej energii niż implementacje programowe.

– Talas

Strategia Taalas opiera się na dwóch kluczowych zasadach. Po pierwsze, firma koncentruje się na specjalizacji obciążeń AI bezpośrednio na poziomie sprzętowym. Oznacza to mapowanie konkretnych sieci neuronowych z LLM bezpośrednio na krzem, aby zoptymalizować infrastrukturę dostosowaną do każdego modelu. Druga zasada dotyczy „łączenia pamięci masowej i obliczeń”, co ma na celu wyeliminowanie ograniczeń pamięci i zmniejszenie obciążenia związanego z komunikacją danych, często występującego w systemach ogólnego przeznaczenia.

Karta procesora Taalas HC1 oznaczona jako „Taalas HC1 z wbudowanym układem Llama 3.1.8B” prezentuje skomplikowaną konstrukcję układu — Źródła obrazów: Taalas

Dzięki innowacyjnemu podejściu firmy Taalas, wszystkie obliczenia są wykonywane z gęstością, którą firma określa mianem gęstości „na poziomie DRAM”, co znacząco zwiększa szybkość komunikacji międzyukładowej. Ta innowacja to główny powód, dla którego Taalas skutecznie zneutralizował problemy z opóźnieniami obserwowane w układach LLM. W przeciwieństwie do tradycyjnych metod, które często opierają się na zaawansowanym chłodzeniu, pamięci o dużej przepustowości (HBM) i złożonych integracjach, przełomowe rozwiązania firmy Taalas są głęboko osadzone w inżynierii krzemu.

Firma wprowadziła na rynek swój pierwszy produkt, HC1, który wykorzystuje platformę Llama 3.1 8B LLM firmy Meta. Parametry wydajności prezentowane przez ten model są imponująco wysokie, co potwierdza 10-krotnie wyższy TPS (Terminal Perception) Taalas w porównaniu z istniejącymi infrastrukturami wysokiej klasy, a jednocześnie pozwala na osiągnięcie imponującej, 20-krotnej redukcji kosztów produkcji.

Wykres słupkowy zatytułowany „Tokeny na sekundę na użytkownika” ilustrujący, że Taalas HC1 przewyższa różne modele, takie jak Nvidia H200 i Nvidia B200 — Źródła obrazów: Taalas

Chociaż te udoskonalenia pozornie rozwiązują problemy z opóźnieniami i wydajnością, kluczowe jest dokładne przeanalizowanie specyfikacji technicznej HC1. Układ jest zbudowany w oparciu o 6-nanometrowy proces technologiczny TSMC i ma rozmiar do 815 mm², co jest porównywalne z układem H100 firmy NVIDIA. Obsługuje model o ośmiu miliardach parametrów, chociaż wiodące obecnie układy LLM skalują się do biliona parametrów. W związku z tym istnieje pilna potrzeba dalszego udoskonalenia strategii krzemowej firmy Taalas.

Efektywne skalowanie wydajności prawdopodobnie będzie wymagało podejścia opartego na klastrach. Firma Taalas z powodzeniem wdrożyła to rozwiązanie w platformie DeepSeek R1, osiągając imponujące 12 000 TPS na użytkownika w konfiguracji 30-procesorowej. Jednak głównym wyzwaniem na przyszłość jest adaptacja rynkowa i opracowanie opłacalnego modelu biznesowego, który będzie zgodny z ich unikalną specjalizacją sprzętową. Chociaż specyfika ich rozwiązań przewodowych może ograniczać elastyczność różnych systemów LLM, wzrost szybkości i wydajności uzasadnia ambitną strategię Taalas.

Źródło i obrazy