Premiers pas avec Foundry Local AI : un guide étape par étape

Exploiter la puissance des modèles d’apprentissage des langues (LLM) sur votre PC Windows est désormais plus simple grâce à l’outil innovant Foundry Local AI de Microsoft. Et surtout, c’est gratuit ! Cette solution robuste ouvre la voie à une vaste gamme de modèles d’IA pour l’exploration et l’expérimentation.

Comprendre l’IA locale de Foundry

Foundry Local de Microsoft est une plateforme révolutionnaire conçue principalement pour les développeurs souhaitant déployer des LLM directement sur leurs systèmes, sans connexion Internet. Bien qu’elle ne reproduise pas les expériences offertes par des services d’IA cloud populaires comme ChatGPT ou Copilot, elle offre un excellent moyen de tester différents modèles d’IA.

Comme il est encore en phase de prévisualisation publique, gardez à l’esprit que l’outil est relativement basique, avec des améliorations et de nouvelles fonctionnalités attendues à mesure que le développement progresse.

Prérequis pour Foundry Local AI

Avant de vous lancer dans l’installation, assurez-vous que votre PC Windows est équipé pour exécuter Foundry Local AI. Bien que Microsoft recommande une configuration Copilot+ haut de gamme, des spécifications inférieures peuvent suffire.

La configuration requise pour votre système est la suivante :

Version 64 bits de Windows 10 ou 11, Windows Server 2025 ou macOS
Au moins 3 Go d’espace disque dur (15 Go recommandés pour les installations de plusieurs modèles)
Un minimum de 8 Go de RAM (16 Go sont idéaux pour des performances optimales)
Bien que cela ne soit pas obligatoire, il est recommandé d’avoir un GPU NVIDIA (série 2000 ou plus récent), un Qualcomm Snapdragon X Elite (8 Go ou plus), un GPU AMD (série 6000 ou plus récent) ou un Apple Silicon.

Remarque : L’accès à Internet n’est nécessaire que pendant l’installation et l’ajout de nouveaux modèles d’IA. Après l’installation, vous pouvez travailler hors ligne. Assurez-vous également de disposer des droits d’administrateur pour l’installation.

Installation étape par étape de Foundry Local AI

Contrairement aux logiciels classiques, l’installation de Foundry Local s’effectue en ligne de commande avec winget. Pas d’inquiétude ! Aucune compétence technique avancée n’est requise pour réaliser ce processus.

Si vous préférez une méthode d’installation standard, vous pouvez plutôt la télécharger depuis GitHub.

Pour commencer l’installation de Windows, accédez à un terminal en appuyant sur Win+ X, puis en sélectionnant Terminal (admin). Exécutez ensuite la commande suivante :

winget install Microsoft. FoundryLocal

Installation de Foundry Local AI via le terminal Windows.

Lisez et acceptez les conditions générales d’installation, puis attendez patiemment que l’installation progresse, ce qui peut prendre quelques instants.

Pour les utilisateurs de macOS, saisissez la commande ci-dessous dans une fenêtre de terminal :

brew tap microsoft/foundrylocal && brew install foundrylocal

Si vous souhaitez installer un LLM sur un Raspberry Pi, suivez les instructions d’installation respectives disponibles sur le site officiel.

Installation de votre premier modèle d’IA

Pour débuter, Microsoft recommande d’installer un modèle léger, tel que le Phi-3.5-mini. Ce modèle est idéal pour les utilisateurs disposant d’un espace disque limité, mais permet une introduction facile aux fonctionnalités de l’IA.

Pour installer votre premier modèle, ouvrez simplement votre terminal et tapez :

foundry model run phi-3.5-mini

La durée d’installation peut varier selon le modèle choisi ; dans mon cas, le Phi-3.5-mini a été installé en seulement deux minutes. L’un des principaux avantages de Foundry Local AI est sa capacité à installer la variante de modèle la plus adaptée à votre configuration matérielle.

foundry model list

Cette commande affichera chaque modèle installé, ainsi que l’espace de stockage requis et son utilisation spécifique. Actuellement, tous les modèles disponibles sont conçus pour les tâches de complétion de chat.

Liste complète des modèles sur Foundry Local.

S’engager avec les modèles d’IA locaux

L’interaction avec vos modèles d’IA installés s’effectue entièrement via la ligne de commande, car aucune interface graphique complète n’est encore fournie. L’interaction avec les modèles est aussi simple qu’avec un chatbot d’IA traditionnel. Il vous suffit de saisir votre texte à l’invite : « Mode interactif, veuillez saisir votre texte ».

Chaque modèle a ses propres limites. Par exemple, j’ai testé le modèle Phi-3.5-mini avec la question « Qu’est-ce que Foundry Local ? ».Il a reconnu ses limites en termes de connaissances jusqu’à début 2023, tout en fournissant une réponse. Cependant, la précision de sa réponse pourrait laisser à désirer.

Utiliser Foundry Local pour répondre aux questions sur Foundry Local.

Pour des résultats optimaux, tenez-vous-en à des questions simples qui ne nécessitent pas de recherches exhaustives ni de mises à jour immédiates.

Si vous souhaitez basculer entre les modèles précédemment installés, utilisez la commande suivante :

foundry model run modelname

N’oubliez pas de remplacer « modelname » par le nom du modèle sélectionné.

Si vous êtes en mode interactif (mode chat), notez que vous devrez fermer la fenêtre du terminal pour changer de session, car il n’y a actuellement aucune commande de sortie disponible – certainement une fonctionnalité que les utilisateurs attendent avec impatience !

Commandes d’IA locales essentielles de Foundry

Bien qu’une liste exhaustive existe, connaître quelques commandes essentielles suffit pour utiliser efficacement Foundry Local. Ces commandes couvrent les principales catégories de commandes de modèle, de service et de cache.

Pour afficher toutes les commandes générales de Foundry Local, utilisez ce qui suit :

foundry --help

Pour explorer les commandes spécifiques au modèle, saisissez :

foundry model --help

Pour vérifier les commandes de service, tapez simplement :

foundry service --help

Et pour les commandes de cache, utilisez :

foundry cache --help

En maîtrisant ces commandes, vous naviguerez aisément dans l’interface de Foundry Local, même avec l’arrivée de nouvelles commandes et de mises à jour. Si vous avez besoin de fonctionnalités supplémentaires, envisagez d’explorer des alternatives éprouvées comme ChatGPT ou d’autres outils d’IA innovants.

Questions fréquemment posées

1. Que puis-je faire avec Foundry Local AI ?

Foundry Local AI vous permet d’exécuter différents modèles d’apprentissage des langues sur votre PC sans connexion Internet, ce qui facilite l’expérimentation et le développement de technologies d’IA. Actuellement, il se concentre sur les tâches de complétion de chat.

2. Un ordinateur coûteux est-il nécessaire pour exécuter Foundry Local AI ?

Non, bien qu’une configuration haut de gamme soit recommandée, Foundry Local AI peut fonctionner sur du matériel milieu de gamme. Si vous remplissez la configuration système requise, vous devriez pouvoir profiter pleinement des fonctionnalités de l’outil.

3. Existe-t-il des limitations connues à l’utilisation de Foundry Local AI ?

Oui, des modèles comme Phi-3.5-mini présentent des limitations liées à la date limite de connaissance, ce qui signifie qu’ils peuvent fournir des informations obsolètes ou incorrectes. De plus, l’interface en ligne de commande, bien que fonctionnelle, manque de composants graphiques que les nouveaux utilisateurs pourraient trouver plus intuitifs.

Source et images