Esegui facilmente modelli di linguaggio AI locali sul tuo computer utilizzando Open WebUI

Open WebUI si distingue come una piattaforma robusta, self-hosted e open source che consente agli utenti di gestire modelli di linguaggio di intelligenza artificiale direttamente dai propri computer, garantendo il controllo completo dei dati. Supporta vari modelli locali, tra cui Ollama, e supporta anche API compatibili con OpenAI. La flessibilità di installazione è una caratteristica fondamentale, poiché Open WebUI può essere configurata utilizzando Docker, Python o Kubernetes. Nella seguente guida, presentiamo una procedura completa e dettagliata per installare Open WebUI sul tuo computer.

Vantaggi dell’utilizzo di Open WebUI

Open WebUI offre una piattaforma intuitiva e flessibile per l’utilizzo dell’intelligenza artificiale, personalizzata in base alle vostre esigenze specifiche. Supportando una varietà di modelli di intelligenza artificiale, è compatibile con tutti i principali sistemi operativi e presenta un’interfaccia intuitiva che ricorda ChatGPT. Tra le funzionalità più importanti figurano Markdown, LaTeX, l’integrazione di plugin e un sistema di memoria avanzato per un’archiviazione efficace dei contenuti.

Questo strumento versatile consente agli utenti di collegare plugin, gestire più thread di chat e salvare i prompt per consultarli in futuro. In quanto iniziativa open source, Open WebUI si basa su miglioramenti guidati dalla community, facilitando rapidi aggiornamenti evolutivi e nuove funzionalità.

Installazione di Open WebUI

Per iniziare a utilizzare Open WebUI tramite Docker, devi prima creare una directory di progetto e accedervi:

mkdir openwebuicd openwebui

Successivamente, crea un nuovo file denominato “docker-compose.yml” utilizzando il tuo editor di testo preferito (ad esempio, Blocco note):

nano docker-compose.yml

Inserire la seguente configurazione nel file “docker-compose.yml” appena creato:

services: ollama: image: ollama/ollama:latest container_name: ollama ports: - "11434:11434" environment: - OLLAMA_USE_GPU=false volumes: - ollama_data:/root/.ollama restart: unless-stopped openwebui: image: ghcr.io/open-webui/open-webui:main container_name: openwebui ports: - "3000:8080" environment: - OLLAMA_BASE_URL=http://ollama:11434 depends_on: - ollama volumes: - open-webui:/app/backend/data restart: unless-stopped volumes: open-webui: ollama_data:

Questa configurazione inizializza due servizi essenziali: ollama e OpenWebUI. Il servizio ollama utilizza il contenitore ollama/ollama, mappa alla porta 11434, disabilita l’accelerazione GPU e salva i dati nel volume ollama_data. Nel frattempo, il servizio OpenWebUI accede al contenitore open-webui, instradando il traffico dalla porta 3000 alla porta 8080 e dipendendo dal servizio ollama per le operazioni. Entrambi i servizi includono opzioni di riavvio automatico a meno che non vengano arrestati manualmente, con volumi denominati che garantiscono la persistenza dei dati.

Dopo aver salvato la configurazione di Docker Compose, avviare il servizio Docker utilizzando il seguente comando:

docker compose up -d

Accesso a Open WebUI

Una volta che i container sono attivi e funzionanti, apri il tuo browser web preferito e vai su http://localhost:3000. Questa azione caricherà l’interfaccia Open WebUI direttamente dal tuo computer. Per iniziare la configurazione, clicca semplicemente sul pulsante ” Inizia”.

Successivamente, inserisci il tuo nome, la tua email e la tua password, quindi clicca sul pulsante Crea account amministratore per creare il tuo account amministratore.

Una volta creato il tuo account, puoi effettuare l’accesso per accedere alla dashboard di Open WebUI.

Installazione di un modello di intelligenza artificiale con Ollama

Sebbene Open WebUI offra un’interfaccia completa, richiede l’installazione di almeno un modello di intelligenza artificiale locale per funzionare correttamente. Fortunatamente, l’utilizzo di Ollama semplifica il processo.È possibile scegliere tra una varietà di modelli, tra cui llama3, mistral, gemma o vicuna, in base alle proprie esigenze e alle risorse di sistema disponibili.

Per questa dimostrazione, installeremo gemma:2b, noto per il suo utilizzo efficiente delle risorse rispetto ai modelli più grandi. Per avviare l’installazione, clicca sull’icona del tuo profilo e seleziona l’ opzione Pannello di amministrazione per accedere alla dashboard di gestione.

Nella dashboard, individua e fai clic sull’icona di download nell’angolo in alto a destra per iniziare a scaricare il modello.

Dopo aver specificato il nome del modello, fare clic sul pulsante di download per procedere.

Una volta scaricato correttamente il modello, verrà visualizzato un messaggio di conferma:

A questo punto, puoi selezionare un modello dall’interfaccia Open WebUI e iniziare a utilizzarlo per le tue query.

Utilizzo di Open WebUI

Una volta scelto un modello, puoi iniziare a porre domande. Ad esempio, quando ho chiesto “Cos’è Docker Compose?”, Open WebUI ha fornito la seguente preziosa risposta:

Per avviare una nuova conversazione senza dover riprendere il contesto delle discussioni precedenti, è sufficiente cliccare su “Nuova Chat” dal menu a sinistra. Questa funzione è particolarmente utile quando si desidera passare a un argomento completamente diverso, senza dover ricorrere a discussioni precedenti.

La sezione Cerca ti consente di scoprire conversazioni passate o parole chiave specifiche all’interno delle tue chat salvate. Basta inserire un termine o una frase e i risultati verranno filtrati, consentendoti di consultare rapidamente approfondimenti o richieste precedenti.

L’ area di lavoro offre un ambiente strutturato per gestire diversi progetti in modo fluido, evitando di confonderli. Questo è particolarmente utile per la programmazione, la scrittura o qualsiasi lavoro a lungo termine. L’interfaccia utente Web aperta include le seguenti schede:

Scheda Modelli : scopri e scarica modelli o preset della community, importa modelli da fonti esterne e gestisci i modelli installati.
Scheda Knowledge : esplora i pacchetti di conoscenze della community o importa i tuoi file (PDF, testo, CSV) affinché l’IA li utilizzi nelle risposte.
Scheda Prompt : esplora i modelli della community, importa i prompt esistenti e applicali a diverse chat.
Scheda Strumenti : trova o importa strumenti quali esecutori di codice, scraper o riepilogatori, consentendo l’utilizzo diretto nelle chat per l’automazione o attività specializzate.

La sezione Chat mostra la cronologia delle tue conversazioni con l’IA, consentendoti di riaprire le chat precedenti o di eliminare quelle che non ti servono più:

Controlli della chat in Open WebUI

Il pannello “Controlli chat” offre opzioni per regolare lo stile di conversazione e le risposte dell’IA.È possibile impostare un prompt di sistema per influenzare il tono o il comportamento, oltre a personalizzare i parametri avanzati come le risposte alla chat in streaming, la dimensione del chunk, la chiamata di funzione, il seed, la sequenza di arresto, la temperatura e lo sforzo di ragionamento.È possibile personalizzare questi parametri o mantenerli alle impostazioni predefinite per prestazioni standard.

Facendo clic sull’icona del profilo, è possibile accedere al menu utente che include opzioni per le impostazioni, le chat archiviate, l’area giochi, il pannello di amministrazione, la documentazione, le note di rilascio, le scorciatoie da tastiera, la disconnessione e la visualizzazione degli utenti attivi.

Conclusione

Sebbene l’installazione di Open WebUI richieda un investimento iniziale di tempo, i vantaggi superano di gran lunga gli sforzi. La piattaforma offre agli utenti la libertà di esercitare il pieno controllo sui propri dati, selezionare i modelli preferiti e personalizzare l’interfaccia, eliminando la dipendenza da server di terze parti. Dopo l’installazione, è possibile utilizzare il modello completamente offline, proprio come se si utilizzasse l’agente AI Gemini CLI nel terminale.

Fonte e immagini