Firma Unigen zaprezentowała swoją najnowszą innowację – moduł Amaretti AI, zaprojektowany tak, aby pasował do standardowego gniazda M.2. Ten kompaktowy moduł oferuje imponującą wydajność do 60 TOPS i 32 GB pamięci, dzięki czemu jest kompatybilny z dużymi modelami językowymi (LLM) zawierającymi do 20 miliardów parametrów.
Moduł Unigen AI: wysoka wydajność przy minimalnym zużyciu energii
Wraz ze wzrostem popularności lokalnych agentów AI, w świecie technologii pojawia się fala innowacyjnych produktów AI. Wśród nich jest Unigen, który wprowadza moduł AI Amaretti E1. S, przypominający konwencjonalny dysk SSD, a jednocześnie oferujący niezwykłe możliwości przetwarzania AI.
Ten moduł jest zasilany akceleratorem AI SAKURA-II firmy EdgeCortix. Początkowo opracowany z myślą o energooszczędnych aplikacjach AI, oferuje on rozbudowane możliwości urządzeniom takim jak Raspberry Pi5 i innym platformom opartym na architekturze ARM. Warto zauważyć, że SAKURA-II posiada jednostkę NPU o wydajności 60 TOPS (indukcyjnej) i 30 TFLOPS (transmisji danych) dla procesorów BF16. Wyposażony jest w podwójny 64-bitowy kontroler pamięci LPDDR4x i oferuje imponującą, 20 MB pamięci podręcznej SRAM, a wszystko to w kompaktowej obudowie BGA 19×19, zużywającej około 8-10 watów mocy.
Firma Unigen pomyślnie zintegrowała akcelerator SAKURA-II AI z płytą E1. S, znacząco zwiększając jej funkcjonalność dzięki pojemności pamięci do 32 GB. Moduł ten jest dostępny w dwóch wariantach – 16 GB i 32 GB – oferując imponującą przepustowość do 68 GB/s. Przy mocy znamionowej zaledwie 10 watów użytkownicy mogą osiągnąć imponującą wydajność 6 TOPS na wat.
Duża pojemność pamięci, wynosząca 32 GB, pozwala temu modułowi sprawnie obsługiwać algorytmy LLM AI, które mogą pochwalić się nawet 20 miliardami parametrów, co czyni go idealnym wyborem dla energooszczędnych rozwiązań AI, których zadaniem jest realizacja przepływów pracy generatywnej i agentowej AI. Dodatkowo, moduły te można łączyć w wiele gniazd M.2, zwiększając ich ogólne możliwości przetwarzania. W przypadku bardziej wymagających aplikacji EdgeCortix oferuje również zaawansowaną konfigurację PCIe z dwoma chipami i rozszerzoną funkcjonalnością, ale rozwiązanie M.2 wyróżnia się jako atrakcyjna opcja.
Wiele komputerów PC, komputerów stacjonarnych i laptopów ma niewykorzystane gniazda M.2, które można by wykorzystać do zwiększenia możliwości sztucznej inteligencji. Dla tych, którzy poszukują lokalnych rozwiązań AI, aby usprawnić działanie swoich systemów, moduły Amaretti AI stanowią niezwykle korzystną opcję.
Według Unigen, moduł AI jest kompatybilny ze wszystkimi wiodącymi frameworkami AI, w tym TensorFlow, PyTorch, ONNX i Hugging Face. Kluczowe funkcje tego modułu obejmują:
- Moduł AI E1. S
- Akcelerator AI: SAKURA-II
- Wydajność wnioskowania do 1920 TOPS przy zastosowaniu serwerów z dwoma procesorami chłodzonymi powietrzem
- Wydajność energetyczna przy zaledwie 20% mniejszym poborze mocy w porównaniu do procesorów graficznych do treningu
- Obsługa modeli LLM sztucznej inteligencji generatywnej obejmujących do 20 miliardów parametrów
- Czas realizacji zamówienia wynoszący około 14 tygodni, co znacznie skraca czas oczekiwania związany z serwerami GPU
- Opcje pamięci do 32 GB na moduł
Unigen dostarcza moduł Amaretti E1. S AI fabrycznie wyposażony w radiator, aby zapewnić optymalną wydajność. Chociaż szczegóły cenowe pozostają nieujawnione, pojemność pamięci stanowi silny wskaźnik potencjalnych kosztów.