Oggigiorno, definire quest’anno “l’era dell’IA” non è affatto esagerato. Che si tratti di smartphone, laptop o persino delle attività lavorative, gli strumenti di IA sono ormai ovunque. Il problema è che la maggior parte di queste funzionalità di IA richiede hardware piuttosto potente. Se possedete un PC datato o una configurazione con specifiche basse, probabilmente avrete notato che eseguire i modelli o gli strumenti di IA più recenti è praticamente impossibile. Cosa si può fare, quindi? La buona notizia è che esistono ancora modi per utilizzare l’IA su macchine di fascia bassa, tramite modelli più leggeri o affidandosi a soluzioni online. In pratica, non serve un computer potentissimo per giocare in questo campo, anche se il vostro PC ha qualche anno. Questa guida cerca di illustrare se è fattibile eseguire modelli linguistici di grandi dimensioni (LLM) locali su configurazioni obsolete e quali modelli leggeri funzionano bene senza mandare in crash il sistema.
È possibile eseguire l’intelligenza artificiale in locale su PC con poca RAM e hardware obsoleto?
Il motivo principale per cui la maggior parte dei modelli di intelligenza artificiale non funziona su hardware obsoleto è che richiedono una quantità considerevole di RAM e potenza di elaborazione. I modelli lineari lineari (LLM) come GPT-4 o simili necessitano di molte risorse, spesso 16 GB di RAM o più, oltre a una GPU performante per ottenere risultati utili. Ma ecco una piccola verità nascosta: alcuni LLM più piccoli e leggeri sono progettati specificamente per PC di fascia bassa. Non saranno in grado di gestire attività complesse come un GPT-4 completo, ma per le operazioni di base possono a volte sorprendere. Se i sintomi sono principalmente schermate vuote o continui arresti anomali durante l’esecuzione di modelli complessi, è consigliabile cercare alternative più adatte al proprio hardware.
Quali sono le specifiche richieste per eseguire gli LLM?
Non esiste una risposta valida per tutti: i requisiti hardware dipendono molto dal modello che si intende utilizzare. Alcuni modelli leggeri possono funzionare con soli 4-8 GB di RAM, mentre quelli più potenti potrebbero richiederne 16 GB o più, oltre a una scheda grafica dedicata di buona qualità. In genere, è consigliabile avere almeno una CPU a otto core, se possibile, ma anche in questo caso non è garantito un funzionamento fluido. In alcune configurazioni, aumentare gradualmente le specifiche potrebbe essere d’aiuto, ma onestamente, la maggior parte di noi cerca semplicemente di sfruttare al massimo le risorse a disposizione. Anche la complessità varia: se si desidera semplicemente chattare con un bot, un modello più piccolo come DistilBERT potrebbe essere sufficiente, mentre per un GPT-3 completo? Beh, probabilmente non è fattibile a meno che non si sia disposti a configurare servizi cloud o online.
Come posso eseguire l’intelligenza artificiale sul mio vecchio PC?
Ecco il punto: se il tuo sistema non si avvicina alle specifiche consigliate, non preoccuparti. Ci sono sostanzialmente due strade: utilizzare chatbot basati sull’IA online o eseguire modelli più piccoli e specializzati in locale. I chatbot online come ChatGPT, accessibili tramite browser web, sono ancora abbastanza potenti da gestire la maggior parte delle esigenze di conversazione. Si basano su server cloud, quindi l’hardware del tuo vecchio PC non rappresenta un limite. Tuttavia, se preferisci l’idea di un’IA ospitata localmente, magari per motivi di privacy o semplicemente per evitare lag di internet, valuta modelli più leggeri come DistilBERT o ALBERT. Questi modelli sono progettati per essere meno esigenti in termini di risorse e possono funzionare su PC con 4-8 GB di RAM se configurati correttamente.
Un altro trucco: installa Docker. Non so perché funzioni, ma eseguire i modelli all’interno di container Docker a volte può migliorare la compatibilità e rendere le cose più gestibili. Se i siti web di origine (come HuggingFace o GitHub) forniscono istruzioni per l’installazione, seguile attentamente. Fai attenzione a eventuali dipendenze o aggiornamenti software necessari, perché i sistemi Windows o Linux a volte possono creare problemi con librerie mancanti o incompatibilità di versione.
I migliori LLM da eseguire su vecchi PC Windows
Questa è la parte divertente: esistono modelli LLM leggeri specifici, progettati pensando all’hardware di fascia bassa. Finora, DistilBERT e ALBERT sono le opzioni migliori. Si potrebbero definire versioni “più piccole, più veloci e più economiche” di modelli giganti come BERT o GPT. Essendo più piccoli, non consumano tutta la RAM e i cicli della CPU. Su una configurazione, DistilBERT ha eseguito senza problemi attività semplici senza bloccarsi, ma su un’altra ha faticato con prompt più complessi. Lo stesso vale per ALBERT, che è simile ma costruito in modo diverso. Se si dispone di 8 GB di RAM, GPT Neo 125M è un’altra opzione: è open source, flessibile e offre prestazioni pressoché identiche a GPT-2, anche su hardware meno potente.
Come installare i chatbot LLM
L’installazione, beh, varia molto a seconda del modello. Alcuni sono forniti con binari precompilati o immagini Docker, altri richiedono di clonare repository GitHub ed eseguire script manualmente. Prima di tutto, verifica l’hardware del tuo PC e scegli il modello leggero più adatto. Dopodiché, scarica Docker dal loro sito. Docker semplifica l’esecuzione di diversi modelli in ambienti isolati senza interferire con le dipendenze di sistema. Dopodiché, trova il modello che desideri, ad esempio da HuggingFace o GitHub, e segui le istruzioni di installazione specifiche. Di solito si tratta di scaricare un’immagine container o configurare un ambiente Python e installare le dipendenze, ma a volte sarà necessario apportare piccole modifiche ai file di configurazione o agli script. Tieni d’occhio l’utilizzo delle risorse; è facile sovraccaricare un PC vecchio e causare blocchi.
Sì, a volte monitorare il Task Manager o l’elenco dei processi durante l’esecuzione dei modelli può essere utile: se il PC inizia a ronzare o a surriscaldarsi, è un segnale per ridurre le attività o chiudere le applicazioni non necessarie. Non so perché alcuni modelli continuino a funzionare correttamente anche dopo diverse ore, ma non sorprendetevi se dovrete procedere per tentativi.