Transforma tu ranura M.2 vacía en un procesador LLM de 20B con este módulo de IA: con 32 GB de memoria y 60 TOPs.

Unigen ha presentado su última innovación, el módulo de IA Amaretti, diseñado para encajar en una ranura M.2 estándar. Este módulo compacto ofrece un rendimiento impresionante de hasta 60 TOPS y 32 GB de memoria, lo que lo hace compatible con grandes modelos de lenguaje (LLM) que contienen hasta 20 mil millones de parámetros.

Módulo de IA Unigen: Rendimiento potente con mínimo consumo de energía.

A medida que los agentes de IA locales ganan terreno, surge una oleada de productos de IA innovadores en el panorama tecnológico. Entre ellos se encuentra Unigen, que presenta el módulo de IA Amaretti E1. S, similar a una unidad SSD convencional pero con notables capacidades de procesamiento de IA.

Este módulo incorpora el acelerador de IA SAKURA-II de EdgeCortix. Desarrollado inicialmente para aplicaciones de IA de bajo consumo, ofrece capacidades robustas para dispositivos como la Raspberry Pi 5 y otras plataformas basadas en ARM. Cabe destacar que el SAKURA-II cuenta con una NPU capaz de ofrecer un rendimiento de 60 TOPS en INT8 y 30 TFLOPS en computación BF16. Está equipado con un controlador de memoria LPDDR4x dual de 64 bits y ofrece una considerable caché SRAM integrada de 20 MB, todo ello en un encapsulado BGA compacto de 19 × 19 que consume aproximadamente entre 8 y 10 vatios.

Un chip EdgeCortix SAKURA-I1 montado en una placa S2M2 Rev-C.

Unigen ha integrado con éxito el acelerador de IA SAKURA-II en la placa E1. S, mejorando significativamente su funcionalidad con una capacidad de memoria de hasta 32 GB. Este módulo está disponible en dos opciones —16 GB y 32 GB— y ofrece un ancho de banda excepcional de hasta 68 GB/s. Con un consumo de energía de tan solo 10 vatios, los usuarios pueden alcanzar una impresionante eficiencia de 6 TOPS por vatio.

La generosa capacidad de memoria de 32 GB permite que este módulo gestione con soltura modelos de lógica descriptiva (LLM) de IA con hasta 20.000 millones de parámetros, lo que lo convierte en una opción ideal para soluciones de IA de bajo consumo destinadas a ejecutar flujos de trabajo de IA generativa y agenica. Además, estos módulos se pueden apilar en varias ranuras M.2, ampliando así su capacidad de procesamiento. Para aplicaciones más exigentes, EdgeCortix también ofrece una configuración PCIe superior con chips duales y funcionalidades ampliadas, pero la solución M.2 destaca como una opción muy atractiva.

La imagen muestra una unidad de estado sólido Unigen Amaretti E1. S AI Module sobre un fondo negro. — Módulos de IA Amaretti E1. S: Fotografías de productos y diseños promocionales

Muchos ordenadores de sobremesa y portátiles disponen de ranuras M.2 sin usar que podrían aprovecharse para mejorar sus capacidades de IA. Para quienes buscan soluciones de IA personalizadas para optimizar sus sistemas, los módulos de IA de Amaretti representan una opción muy ventajosa.

Según Unigen, el módulo de IA es compatible con todos los principales marcos de trabajo de IA, incluidos TensorFlow, PyTorch, ONNX y Hugging Face. Las características clave de este módulo incluyen:

Módulo de IA E1. S
Acelerador de IA: SAKURA-II
Hasta 1920 TOPS de rendimiento de inferencia cuando se utiliza con servidores de doble CPU refrigerados por aire.
Eficiencia energética con tan solo el 20% del consumo de vatios en comparación con las GPU de entrenamiento.
Compatibilidad con modelos LLM de IA generativa de hasta 20 mil millones de parámetros.
Plazos de entrega de aproximadamente 14 semanas, lo que reduce significativamente el tiempo de espera asociado a los servidores GPU.
Opciones de memoria de hasta 32 GB por módulo.

Unigen envía el módulo de IA Amaretti E1. S con un disipador de calor preinstalado para garantizar un rendimiento óptimo. Si bien los detalles sobre el precio aún no se han revelado, la capacidad de memoria sirve como un buen indicador de los posibles costos.

Fuente e imágenes