Transforme seu slot M.2 vazio em um processador LLM de 20 bits usando este módulo de IA: com 32 GB de memória e 60 TOPS.

A Unigen apresentou sua mais recente inovação, o módulo de IA Amaretti, projetado para encaixar em um slot M.2 padrão. Este módulo compacto oferece um desempenho impressionante de até 60 TOPS e 32 GB de memória, tornando-o compatível com grandes modelos de linguagem (LLMs) contendo até 20 bilhões de parâmetros.

Módulo de IA Unigen: Desempenho poderoso com consumo mínimo de energia

Com o crescente uso de agentes de IA locais, uma onda de produtos inovadores de IA está surgindo no cenário tecnológico. Entre eles está a Unigen, que apresenta o módulo de IA Amaretti E1. S, semelhante a um SSD convencional, mas com notáveis capacidades de processamento de IA.

Este módulo é alimentado pelo acelerador de IA SAKURA-II da EdgeCortix. Desenvolvido inicialmente para aplicações de IA de baixo consumo, ele traz recursos robustos para dispositivos como o Raspberry Pi 5 e outras plataformas baseadas em ARM. Notavelmente, o SAKURA-II possui uma NPU capaz de fornecer 60 TOPS de desempenho INT8 e 30 TFLOPS de computação BF16. Ele é equipado com um controlador de memória LPDDR4x duplo de 64 bits e oferece um substancial cache SRAM integrado de 20 MB, tudo dentro de um pacote BGA compacto de 19×19 que consome aproximadamente 8 a 10 watts de energia.

Um chip EdgeCortix SAKURA-I1 montado em uma placa S2M2 Rev-C.

A Unigen integrou com sucesso o acelerador de IA SAKURA-II na placa E1. S, aprimorando significativamente sua funcionalidade com uma capacidade de memória de até 32 GB. Este módulo está disponível em duas opções — 16 GB e 32 GB — oferecendo uma largura de banda notável de até 68 GB/s. Com um consumo de energia de apenas 10 watts, os usuários podem alcançar uma impressionante eficiência de 6 TOPS por watt.

A generosa capacidade de memória de 32 GB permite que este módulo lide com maestria com LLMs de IA com até 20 bilhões de parâmetros, tornando-o uma escolha ideal para soluções de IA de baixo consumo de energia, responsáveis pela execução de fluxos de trabalho de IA generativa e IA agente. Além disso, esses módulos podem ser empilhados em vários slots M.2, expandindo suas capacidades de processamento. Para aplicações mais exigentes, a EdgeCortix também oferece uma configuração PCIe superior com dois chips e funcionalidades ampliadas, mas a solução M.2 se destaca como uma opção atraente.

A imagem mostra um módulo de estado sólido Unigen Amaretti E1. S AI contra um fundo preto. — Módulos de IA Amaretti E1. S – Fotos do produto e materiais promocionais

Muitos PCs, desktops e laptops possuem slots M.2 não utilizados que poderiam ser aproveitados para aprimorar os recursos de IA. Para quem busca soluções de IA localizadas para impulsionar seus sistemas, os módulos de IA da Amaretti representam uma opção altamente vantajosa.

Segundo a Unigen, o módulo de IA é compatível com todas as principais estruturas de IA, incluindo TensorFlow, PyTorch, ONNX e Hugging Face. Os principais recursos deste módulo incluem:

Módulo de IA E1. S
Acelerador de IA: SAKURA-II
Desempenho de inferência de até 1920 TOPS quando utilizado com servidores Dual CPU refrigerados a ar.
Eficiência energética com apenas 20% da potência em comparação com GPUs de treinamento.
Suporte para modelos de lógica de trabalho (LLMs) de IA generativa com até 20 bilhões de parâmetros.
Prazos de entrega de aproximadamente 14 semanas, reduzindo significativamente a espera associada aos servidores com GPU.
Opções de memória de até 32 GB por módulo.

A Unigen envia o módulo de IA Amaretti E1. S pré-equipado com um dissipador de calor para garantir o desempenho ideal. Embora os detalhes de preço não tenham sido divulgados, a capacidade de memória serve como um forte indicador dos custos potenciais.

Fonte e imagens