Introduzione a Foundry Local AI: una guida passo passo

Sfruttare la potenza dei modelli di apprendimento linguistico (LLM) sul tuo PC Windows è diventato più semplice con l’innovativo strumento di intelligenza artificiale Foundry Local di Microsoft. E soprattutto, è gratuito! Questa soluzione affidabile apre le porte a una vasta gamma di modelli di intelligenza artificiale da esplorare e sperimentare.

Comprendere l’intelligenza artificiale locale di Foundry

Foundry Local di Microsoft è una piattaforma innovativa pensata principalmente per gli sviluppatori che desiderano implementare LLM direttamente sui propri sistemi senza bisogno di una connessione Internet. Sebbene non replichi le esperienze offerte da popolari servizi di intelligenza artificiale cloud come ChatGPT o Copilot, offre un’eccellente opportunità per testare diversi modelli di intelligenza artificiale.

Poiché si trova ancora nella fase di anteprima pubblica, è bene tenere presente che lo strumento è relativamente elementare e che sono previsti miglioramenti e nuove funzionalità man mano che lo sviluppo procede.

Prerequisiti per Foundry Local AI

Prima di iniziare l’installazione, assicurati che il tuo PC Windows sia predisposto per eseguire Foundry Local AI. Sebbene Microsoft suggerisca una configurazione Copilot+ di fascia alta, anche specifiche inferiori possono essere sufficienti.

I requisiti di sistema sono i seguenti:

Versione a 64 bit di Windows 10 o 11, Windows Server 2025 o macOS
Almeno 3 GB di spazio su disco rigido (15 GB consigliati per installazioni di più modelli)
Almeno 8 GB di RAM (16 GB sono l’ideale per prestazioni ottimali)
Sebbene non sia obbligatorio, si consiglia di avere una GPU NVIDIA (serie 2000 o successiva), Qualcomm Snapdragon X Elite (8 GB o più), GPU AMD (serie 6000 o successiva) o Apple Silicon

Nota: l’accesso a Internet è necessario solo durante l’installazione e l’aggiunta di nuovi modelli di IA. Dopo l’installazione, è possibile operare offline. Assicurarsi inoltre di disporre dei diritti di amministratore per il processo di installazione.

Installazione passo passo di Foundry Local AI

A differenza dei software convenzionali, l’installazione di Foundry Local viene eseguita tramite riga di comando utilizzando winget. Niente paura! Non sono necessarie competenze tecniche avanzate per eseguire questo processo.

Se preferisci un metodo di installazione standard, puoi scaricarlo da GitHub.

Per iniziare l’installazione di Windows, accedi a una finestra del terminale premendo Win+ X, quindi seleziona Terminale (amministratore). Quindi, esegui questo comando:

winget install Microsoft. FoundryLocal

Installazione di Foundry Local AI tramite terminale Windows.

Leggi e accetta i termini e le condizioni di installazione, quindi attendi pazientemente che l’installazione proceda, il che potrebbe richiedere alcuni minuti.

Per gli utenti macOS, immettere il comando seguente in una finestra del terminale:

brew tap microsoft/foundrylocal && brew install foundrylocal

Se vuoi installare un LLM su un Raspberry Pi, segui le istruzioni di installazione disponibili sul sito ufficiale.

Installazione del primo modello di intelligenza artificiale

Per iniziare, Microsoft consiglia di installare un modello leggero, come Phi-3.5-mini. Questo modello è ideale per chi ha poco spazio su disco, ma consente un’introduzione semplice alle funzionalità dell’intelligenza artificiale.

Per installare il tuo primo modello, apri semplicemente il terminale e digita:

foundry model run phi-3.5-mini

La durata dell’installazione può variare in base al modello scelto; nel mio caso, Phi-3.5-mini è stato completato in soli due minuti. Un vantaggio significativo di Foundry Local AI è la sua capacità di installare la variante di modello più adatta in base alla configurazione hardware.

foundry model list

Questo comando visualizzerà ogni modello installato, insieme allo spazio di archiviazione richiesto e al suo caso d’uso specifico. Attualmente, tutti i modelli disponibili sono progettati per attività di completamento chat.

Elenco completo dei modelli su Foundry Local.

Interagire con i modelli di intelligenza artificiale locali

L’interazione con i modelli di intelligenza artificiale installati avviene interamente tramite riga di comando, poiché non è ancora disponibile un’interfaccia grafica completa. Interagire con i modelli è semplice come comunicare con qualsiasi chatbot di intelligenza artificiale tradizionale.È sufficiente inserire il testo nel prompt, che riporta ” Modalità interattiva, inserisci il testo”.

Ogni modello ha i suoi limiti specifici. Ad esempio, ho testato il modello Phi-3.5-mini con la domanda “Cos’è Foundry Local?”.Ha riconosciuto i suoi limiti in termini di conoscenza fino all’inizio del 2023, fornendo comunque una risposta. Tuttavia, l’accuratezza della sua risposta potrebbe lasciare a desiderare.

Utilizzo di Foundry Local per rispondere alle domande su Foundry Local.

Per ottenere risultati ottimali, limitatevi a richieste semplici che non richiedano ricerche approfondite o aggiornamenti immediati.

Se vuoi passare da un modello installato in precedenza all’altro, usa il seguente comando:

foundry model run modelname

Ricordati di sostituire “nomemodello” con il nome del modello selezionato.

Se ti trovi in modalità interattiva (modalità chat), tieni presente che dovrai chiudere la finestra del terminale per cambiare sessione, poiché al momento non è disponibile alcun comando di uscita: una funzionalità che gli utenti attendono con impazienza!

Comandi AI locali essenziali di Foundry

Sebbene esista un elenco completo, la conoscenza di alcuni comandi fondamentali sarà sufficiente per utilizzare Foundry Local in modo efficace. Questi comandi coprono le principali categorie di comandi di modello, servizio e cache.

Per visualizzare tutti i comandi generali per Foundry Local, utilizzare quanto segue:

foundry --help

Per esplorare i comandi specifici del modello, immettere:

foundry model --help

Per controllare i comandi del servizio, basta digitare:

foundry service --help

Per i comandi della cache, utilizzare:

foundry cache --help

Padroneggiando questi comandi, potrai navigare con facilità nell’interfaccia di Foundry Local, anche quando nuovi comandi emergeranno con gli aggiornamenti futuri. Chi ha bisogno di funzionalità più avanzate di quelle offerte da Foundry Local può valutare alternative consolidate come ChatGPT o altri innovativi strumenti di intelligenza artificiale.

Domande frequenti

1. Cosa posso fare con Foundry Local AI?

Foundry Local AI consente di eseguire diversi modelli di apprendimento linguistico sul PC senza bisogno di una connessione internet, consentendo la sperimentazione e lo sviluppo di tecnologie di intelligenza artificiale. Attualmente, si concentra sulle attività di completamento delle chat.

2. Per eseguire Foundry Local AI è necessario un computer costoso?

No, sebbene sia consigliata una configurazione di fascia alta, Foundry Local AI può funzionare anche su hardware di fascia media. Purché si soddisfino i requisiti di sistema specificati, si dovrebbero poter sfruttare le funzionalità dello strumento.

3. Esistono limitazioni note nell’utilizzo di Foundry Local AI?

Sì, modelli come Phi-3.5-mini presentano limitazioni legate alla data limite di accesso alle informazioni, il che significa che potrebbero fornire informazioni obsolete o errate. Inoltre, l’interfaccia a riga di comando, pur essendo funzionale, non presenta componenti grafici che gli utenti meno esperti potrebbero trovare più intuitivi.

Fonte e immagini