Introdução ao Foundry Local AI: um guia passo a passo

Aproveitar o poder dos modelos de aprendizagem de línguas (LLMs) no seu PC Windows ficou mais simples com a inovadora ferramenta Foundry Local AI da Microsoft. E o melhor de tudo: é grátis! Esta solução robusta abre as portas para uma vasta gama de modelos de IA para exploração e experimentação.

Compreendendo a IA local da Foundry

O Foundry Local da Microsoft é uma plataforma inovadora, desenvolvida principalmente para desenvolvedores que desejam implantar LLMs diretamente em seus sistemas, sem a necessidade de conexão com a internet. Embora não reproduza as experiências oferecidas por serviços populares de IA em nuvem, como ChatGPT ou Copilot, oferece uma excelente oportunidade para testar diversos modelos de IA.

Como ainda está em fase de visualização pública, tenha em mente que a ferramenta é relativamente básica, com melhorias e novos recursos esperados conforme o desenvolvimento avança.

Pré-requisitos para Foundry Local AI

Antes de iniciar o processo de instalação, certifique-se de que seu PC com Windows esteja equipado para executar o Foundry Local AI. Embora a Microsoft sugira uma configuração de ponta do Copilot+, especificações mais simples ainda podem ser suficientes.

Os requisitos do seu sistema são os seguintes:

Versão de 64 bits do Windows 10 ou 11, Windows Server 2025 ou macOS
Pelo menos 3 GB de espaço no disco rígido (15 GB recomendados para instalações de vários modelos)
No mínimo 8 GB de RAM (16 GB é o ideal para um desempenho ideal)
Embora não seja obrigatório, é recomendável ter uma GPU NVIDIA (série 2000 ou mais recente), Qualcomm Snapdragon X Elite (8 GB ou mais), GPU AMD (série 6000 ou mais recente) ou silício Apple.

Observação: o acesso à internet só é necessário durante a instalação e ao adicionar novos modelos de IA. Após a instalação, sinta-se à vontade para operar offline. Além disso, certifique-se de ter direitos administrativos para o processo de instalação.

Instalação passo a passo do Foundry Local AI

Ao contrário dos softwares convencionais, a instalação do Foundry Local é executada pela linha de comando usando winget. Não se preocupe! Você não precisa de habilidades técnicas avançadas para realizar este processo.

Se preferir um método de instalação padrão, você pode baixá-lo do GitHub.

Para iniciar a instalação do Windows, acesse uma janela de terminal pressionando Win+ Xe, em seguida, selecionando Terminal (admin). Em seguida, execute este comando:

winget install Microsoft. FoundryLocal

Instalando o Foundry Local AI via terminal do Windows.

Leia e concorde com os termos e condições de instalação e aguarde pacientemente o andamento da instalação, o que pode levar alguns instantes.

Para usuários do macOS, insira o comando abaixo em uma janela de terminal:

brew tap microsoft/foundrylocal && brew install foundrylocal

Se você deseja instalar um LLM em um Raspberry Pi, siga as respectivas instruções de instalação disponíveis no site oficial.

Instalando seu primeiro modelo de IA

Ao começar, a Microsoft recomenda instalar um modelo leve, como o Phi-3.5-mini. Este modelo é ideal para quem tem espaço em disco limitado, mas também para uma introdução fácil aos recursos de IA.

Para instalar seu primeiro modelo, basta abrir seu terminal e digitar:

foundry model run phi-3.5-mini

A duração da instalação pode variar de acordo com o modelo escolhido; no meu caso, o Phi-3.5-mini foi concluído em apenas dois minutos. Uma vantagem significativa do Foundry Local AI é a capacidade de instalar a variante de modelo mais adequada com base na sua configuração de hardware.

foundry model list

Este comando exibirá cada modelo instalado, juntamente com o espaço de armazenamento necessário e seu caso de uso específico. Atualmente, todos os modelos disponíveis são projetados para tarefas de conclusão de bate-papo.

Lista completa de modelos no Foundry Local.

Engajando-se com modelos locais de IA

A interação com os modelos de IA instalados ocorre inteiramente por meio da linha de comando, pois ainda não há uma interface gráfica completa disponível. A interação com os modelos é tão simples quanto a comunicação com qualquer chatbot de IA tradicional. Basta digitar o texto no prompt, que diz ” Modo interativo, insira seu texto”.

Cada modelo tem suas limitações específicas. Por exemplo, testei o modelo Phi-3.5-mini com a pergunta “O que é Foundry Local?”.Ele reconheceu suas limitações em relação ao conhecimento até o início de 2023, mas mesmo assim apresentou uma resposta. No entanto, a precisão da resposta pode deixar a desejar.

Usando o Foundry Local para responder perguntas sobre o Foundry Local.

Para obter resultados ideais, faça perguntas diretas que não exijam pesquisas exaustivas ou atualizações imediatas.

Se você quiser alternar entre modelos instalados anteriormente, use o seguinte comando:

foundry model run modelname

Lembre-se de substituir “modelname” pelo nome do modelo selecionado.

Se você estiver no Modo Interativo (modo de bate-papo), observe que será necessário fechar a janela do terminal para alternar as sessões, pois atualmente não há comando de saída disponível — definitivamente um recurso que os usuários estão aguardando ansiosamente!

Comandos de IA local da Essential Foundry

Embora exista uma lista abrangente, conhecer alguns comandos básicos será suficiente para operar o Foundry Local com eficácia. Esses comandos abrangem as principais categorias de comandos de modelo, serviço e cache.

Para visualizar todos os comandos gerais do Foundry Local, utilize o seguinte:

foundry --help

Para explorar comandos específicos do modelo, insira:

foundry model --help

Para verificar os comandos de serviço, basta digitar:

foundry service --help

E para comandos de cache, use:

foundry cache --help

Ao dominar esses comandos, você navegará pela interface do Foundry Local com facilidade, mesmo com novos comandos surgindo junto com atualizações futuras. Para aqueles que precisam de mais recursos do que o Foundry Local oferece, considere explorar alternativas já estabelecidas, como o ChatGPT ou outras ferramentas inovadoras de IA.

Perguntas frequentes

1. O que posso fazer com o Foundry Local AI?

O Foundry Local AI permite que você execute diversos modelos de aprendizagem de idiomas no seu PC sem precisar de conexão com a internet, permitindo experimentação e desenvolvimento com tecnologias de IA. Atualmente, ele se concentra em tarefas de conclusão de bate-papo.

2.É necessário um computador caro para executar o Foundry Local AI?

Não, embora uma configuração mais avançada seja recomendada, o Foundry Local AI pode operar em hardware de médio porte. Desde que você atenda aos requisitos de sistema especificados, poderá aproveitar os recursos da ferramenta.

3. Existem limitações conhecidas no uso do Foundry Local AI?

Sim, modelos como o Phi-3.5-mini apresentam limitações relacionadas à data limite de conhecimento, o que significa que podem fornecer informações desatualizadas ou incorretas. Além disso, a interface de linha de comando, embora funcional, carece de componentes gráficos que usuários mais novos possam achar mais intuitivos.

Fonte e Imagens