Verwandeln Sie Ihren leeren M.2-Steckplatz mit diesem KI-Modul in einen 20B LLM-Prozessor: Ausgestattet mit 32 GB Speicher und 60 TOPs.

Unigen hat seine neueste Innovation vorgestellt: das Amaretti AI-Modul, das in einen Standard-M.2-Steckplatz passt. Dieses kompakte Modul bietet eine beeindruckende Leistung von bis zu 60 TOPS und 32 GB Speicher und ist somit mit großen Sprachmodellen (LLMs) mit bis zu 20 Milliarden Parametern kompatibel.

Unigen KI-Modul: Hohe Leistung bei minimalem Stromverbrauch

Mit zunehmender Verbreitung lokaler KI-Systeme entsteht eine Welle innovativer KI-Produkte in der Technologielandschaft. Dazu gehört auch Unigen mit dem Amaretti E1. S KI-Modul, das einer herkömmlichen SSD ähnelt, aber bemerkenswerte KI-Verarbeitungsfähigkeiten aufweist.

Dieses Modul wird vom KI-Beschleuniger SAKURA-II von EdgeCortix angetrieben. Ursprünglich für energieeffiziente KI-Anwendungen entwickelt, bietet er leistungsstarke Funktionen für Geräte wie den Raspberry Pi 5 und andere ARM-basierte Plattformen. Der SAKURA-II verfügt über eine NPU mit einer Rechenleistung von 60 TOPS (INT8) und 30 TFLOPS (BF16).Er ist mit einem dualen 64-Bit-LPDDR4x-Speichercontroller ausgestattet und bietet einen großzügigen 20 MB großen In-Chip-SRAM-Cache. All dies in einem kompakten 19×19-BGA-Gehäuse mit einem Stromverbrauch von ca.8–10 Watt.

Ein EdgeCortix SAKURA-I1 Chip, montiert auf einer S2M2 Rev-C Platine.

Unigen hat den KI-Beschleuniger SAKURA-II erfolgreich in das E1. S-Board integriert und dessen Funktionalität mit einer Speicherkapazität von bis zu 32 GB deutlich erweitert. Das Modul ist in zwei Varianten – 16 GB und 32 GB – erhältlich und bietet eine bemerkenswerte Bandbreite von bis zu 68 GB/s. Bei einer Leistungsaufnahme von nur 10 Watt erreichen Anwender eine beeindruckende Effizienz von 6 TOPS pro Watt.

Die großzügige Speicherkapazität von 32 GB ermöglicht es diesem Modul, KI-basierte LLMs mit bis zu 20 Milliarden Parametern effizient zu verarbeiten und ist somit die ideale Wahl für energieeffiziente KI-Lösungen zur Ausführung von generativen und agentenbasierten KI-Workflows. Darüber hinaus lassen sich diese Module in mehreren M.2-Steckplätzen stapeln, wodurch sich ihre Gesamtleistung erweitert. Für anspruchsvollere Anwendungen bietet EdgeCortix auch eine leistungsstärkere PCIe-Konfiguration mit zwei Chips und erweiterter Funktionalität an, die M.2-Lösung stellt jedoch eine überzeugende Alternative dar.

Das Bild zeigt ein Unigen Amaretti E1. S AI Module Solid-State-Laufwerk vor schwarzem Hintergrund. — Amaretti E1. S AI Module – Produktfotos und Werbedesigns

Viele PCs, Desktop-PCs und Laptops verfügen über ungenutzte M.2-Steckplätze, die für erweiterte KI-Funktionen genutzt werden könnten. Für alle, die nach lokalen KI-Lösungen zur Leistungssteigerung ihrer Systeme suchen, stellen die KI-Module von Amaretti eine äußerst vorteilhafte Option dar.

Laut Unigen ist das KI-Modul mit allen führenden KI-Frameworks kompatibel, darunter TensorFlow, PyTorch, ONNX und Hugging Face. Zu den wichtigsten Funktionen dieses Moduls gehören:

E1. S KI-Modul
KI-Beschleuniger: SAKURA-II
Bis zu 1920 TOPS Inferenzleistung bei Verwendung mit luftgekühlten Dual-CPU-Servern
Energieeffizienz mit nur 20 % der Wattzahl im Vergleich zu Trainings-GPUs
Unterstützung für generative KI-LLMs mit bis zu 20 Milliarden Parametern
Lieferzeiten von ca.14 Wochen, wodurch die Wartezeit für GPU-Server deutlich reduziert wird.
Speicheroptionen bis zu 32 GB pro Modul

Unigen liefert das Amaretti E1. S AI-Modul mit vorinstalliertem Kühlkörper aus, um optimale Leistung zu gewährleisten. Obwohl die Preisdetails noch nicht bekannt gegeben wurden, lässt die Speicherkapazität einen starken Hinweis auf die potenziellen Kosten.

Quellen & Bilder