Aprovechar el potencial de los modelos de aprendizaje de idiomas (LLM) en tu PC con Windows es ahora más sencillo con la innovadora herramienta de IA local Foundry de Microsoft.¡Y lo mejor de todo, es gratis! Esta robusta solución te abre las puertas a una amplia gama de modelos de IA para explorar y experimentar.
Entendiendo la IA local de Foundry
Foundry Local de Microsoft es una plataforma innovadora diseñada principalmente para desarrolladores que desean implementar LLM directamente en sus sistemas sin necesidad de conexión a internet. Si bien no replica las experiencias que ofrecen servicios populares de IA en la nube como ChatGPT o Copilot, ofrece una excelente vía para probar diversos modelos de IA.
Como todavía se encuentra en su fase de vista previa pública, tenga en cuenta que la herramienta es relativamente básica y se esperan mejoras y nuevas funciones a medida que avanza el desarrollo.
Requisitos previos para la IA local de Foundry
Antes de comenzar la instalación, asegúrese de que su PC con Windows sea compatible con Foundry Local AI. Aunque Microsoft sugiere una configuración Copilot+ de gama alta, con especificaciones más bajas puede ser suficiente.
Los requisitos del sistema son los siguientes:
- Versión de 64 bits de Windows 10 o 11, Windows Server 2025 o macOS
- Al menos 3 GB de espacio en el disco duro (se recomiendan 15 GB para instalaciones de varios modelos)
- Un mínimo de 8 GB de RAM (16 GB es ideal para un rendimiento óptimo)
- Si bien no es obligatorio, se recomienda tener una GPU NVIDIA (serie 2000 o más nueva), Qualcomm Snapdragon X Elite (8 GB o más), GPU AMD (serie 6000 o más nueva) o silicio de Apple.
Nota: Solo se necesita acceso a internet durante la instalación y al añadir nuevos modelos de IA. Tras la instalación, puede trabajar sin conexión. Asegúrese también de tener permisos de administrador para la instalación.
Instalación paso a paso de Foundry Local AI
A diferencia del software convencional, la instalación de Foundry Local se ejecuta mediante la línea de comandos usando winget.¡No se preocupe! No necesita conocimientos técnicos avanzados para realizar este proceso.
Si prefieres un método de instalación estándar, puedes descargarlo desde GitHub.
Para comenzar la instalación de Windows, acceda a una ventana de terminal presionando Win+ Xy seleccionando Terminal (admin). A continuación, ejecute este comando:
winget install Microsoft. FoundryLocal
Lea y acepte los términos y condiciones de instalación, luego espere pacientemente mientras avanza la instalación, lo que puede demorar unos minutos.
Para usuarios de macOS, ingrese el siguiente comando en una ventana de terminal:
brew tap microsoft/foundrylocal && brew install foundrylocal
Si desea instalar un LLM en una Raspberry Pi, siga las instrucciones de instalación respectivas disponibles en el sitio oficial.
Instalación de su primer modelo de IA
Al iniciar, Microsoft recomienda instalar un modelo ligero, como el Phi-3.5-mini. Este modelo es ideal para quienes tienen poco espacio en disco, pero permite una introducción sencilla a las capacidades de IA.
Para instalar tu primer modelo, simplemente abre tu terminal y escribe:
foundry model run phi-3.5-mini
La duración de la instalación puede variar según el modelo elegido; en mi caso, Phi-3.5-mini se completó en tan solo dos minutos. Una ventaja significativa de Foundry Local AI es su capacidad para instalar la variante de modelo más adecuada según la configuración de hardware.
foundry model list
Este comando mostrará cada modelo instalado, junto con el espacio de almacenamiento requerido y su caso de uso específico. Actualmente, todos los modelos disponibles están diseñados para tareas de finalización de chat.
Interactuar con modelos de IA locales
La interacción con los modelos de IA instalados se realiza completamente a través de la línea de comandos, ya que aún no se proporciona una interfaz gráfica completa. Interactuar con los modelos es tan sencillo como comunicarse con cualquier chatbot de IA tradicional. Simplemente ingrese su texto en el mensaje que dice » Modo interactivo, por favor ingrese su texto».
Cada modelo tiene sus limitaciones. Por ejemplo, probé el modelo Phi-3.5-mini con la pregunta «¿Qué es Foundry Local?».Reconoció sus limitaciones de conocimiento hasta principios de 2023, pero aun así ofreció una respuesta. Sin embargo, la precisión de su respuesta podría dejar algo que desear.
Para obtener resultados óptimos, concéntrese en preguntas sencillas que no requieran una investigación exhaustiva ni actualizaciones inmediatas.
Si desea cambiar entre modelos previamente instalados, utilice el siguiente comando:
foundry model run modelname
Recuerde reemplazar “modelname” con el nombre del modelo seleccionado.
Si está en modo interactivo (modo de chat), tenga en cuenta que deberá cerrar la ventana del terminal para cambiar de sesión, ya que actualmente no hay ningún comando de salida disponible, ¡definitivamente una característica que los usuarios esperan con entusiasmo!
Comandos de IA locales de Essential Foundry
Aunque existe una lista completa, conocer algunos comandos básicos bastará para operar Foundry Local eficazmente. Estos comandos abarcan las categorías principales de comandos de modelo, servicio y caché.
Para ver todos los comandos generales de Foundry Local, utilice lo siguiente:
foundry --help
Para explorar comandos específicos del modelo, ingrese:
foundry model --help
Para comprobar los comandos de servicio, simplemente escriba:
foundry service --help
Y para los comandos de caché, utilice:
foundry cache --help
Al dominar estos comandos, podrá navegar fácilmente por la interfaz de Foundry Local, incluso con la aparición de nuevos comandos y futuras actualizaciones. Si necesita más funciones que las que ofrece Foundry Local, considere explorar alternativas consolidadas como ChatGPT u otras herramientas innovadoras de IA.
Preguntas frecuentes
1.¿Qué puedo hacer con Foundry Local AI?
Foundry Local AI te permite ejecutar varios modelos de aprendizaje de idiomas en tu PC sin necesidad de conexión a internet, lo que facilita la experimentación y el desarrollo con tecnologías de IA. Actualmente, se centra en tareas de finalización de chat.
2.¿Es necesaria una computadora costosa para ejecutar Foundry Local AI?
No, aunque se recomienda una configuración de gama alta, Foundry Local AI puede funcionar en hardware de gama media. Siempre que cumpla con los requisitos del sistema especificados, podrá disfrutar de las funciones de la herramienta.
3.¿Existen limitaciones conocidas en el uso de Foundry Local AI?
Sí, modelos como el Phi-3.5-mini presentan limitaciones relacionadas con la fecha límite de conocimiento, lo que significa que pueden proporcionar información obsoleta o incorrecta. Además, la interfaz de línea de comandos, aunque funcional, carece de componentes gráficos que los usuarios más nuevos podrían encontrar más intuitivos.
Deja una respuesta