Führen Sie mithilfe von Open WebUI ganz einfach lokale KI-Sprachmodelle auf Ihrem Computer aus

Open WebUI zeichnet sich als robuste, selbst gehostete Open-Source-Plattform aus, die es Nutzern ermöglicht, KI-Sprachmodelle direkt von ihrem Rechner aus zu bedienen und so vollständige Datenkontrolle zu gewährleisten. Es unterstützt verschiedene lokale Modelle, darunter Ollama, und OpenAI-kompatible APIs. Die Flexibilität bei der Installation ist ein wichtiges Merkmal, da Open WebUI mit Docker, Python oder Kubernetes eingerichtet werden kann. In der folgenden Anleitung stellen wir Ihnen eine umfassende Schritt-für-Schritt-Anleitung zur Installation von Open WebUI auf Ihrem PC vor.

Vorteile der Verwendung von Open WebUI

Open WebUI bietet eine intuitive und flexible Plattform für die Nutzung von KI, die auf Ihre spezifischen Anforderungen zugeschnitten ist. Es unterstützt eine Vielzahl von KI-Modellen, ist mit allen gängigen Betriebssystemen kompatibel und verfügt über eine benutzerfreundliche Oberfläche, die an ChatGPT erinnert. Zu den herausragenden Funktionen gehören Markdown, LaTeX, Plugin-Integration und ein fortschrittliches Speichersystem für die effektive Speicherung von Inhalten.

Mit diesem vielseitigen Tool können Nutzer Plugins verbinden, mehrere Chat-Threads verwalten und Eingabeaufforderungen für später speichern. Als Open-Source-Initiative profitiert Open WebUI von Community-getriebenen Verbesserungen und ermöglicht so schnelle, evolutionäre Upgrades und neue Funktionen.

Open WebUI installieren

Um mit Open WebUI über Docker zu beginnen, müssen Sie zunächst ein Projektverzeichnis einrichten und dorthin navigieren:

mkdir openwebuicd openwebui

Erstellen Sie als Nächstes mit Ihrem bevorzugten Texteditor (z. B.Notepad) eine neue Datei mit dem Namen „docker-compose.yml“:

nano docker-compose.yml

Fügen Sie die folgende Konfiguration in die neu erstellte Datei „docker-compose.yml“ ein:

services: ollama: image: ollama/ollama:latest container_name: ollama ports: - "11434:11434" environment: - OLLAMA_USE_GPU=false volumes: - ollama_data:/root/.ollama restart: unless-stopped openwebui: image: ghcr.io/open-webui/open-webui:main container_name: openwebui ports: - "3000:8080" environment: - OLLAMA_BASE_URL=http://ollama:11434 depends_on: - ollama volumes: - open-webui:/app/backend/data restart: unless-stopped volumes: open-webui: ollama_data:

Diese Konfiguration initialisiert zwei wichtige Dienste: ollama und OpenWebUI. Der ollama- Dienst nutzt den ollama/ollama-Container, ist Port 11434 zugeordnet, deaktiviert die GPU-Beschleunigung und speichert Daten im ollama_data-Volume. Der OpenWebUI -Dienst greift auf den open-webui-Container zu und leitet den Datenverkehr von Port 3000 an Port 8080 weiter, wobei er für den Betrieb vom ollama-Dienst abhängig ist. Beide Dienste verfügen über automatische Neustartoptionen, sofern sie nicht manuell gestoppt werden. Benannte Volumes gewährleisten die Datenpersistenz.

Nachdem Sie die Docker Compose-Konfiguration gespeichert haben, starten Sie den Docker-Dienst mit dem folgenden Befehl:

docker compose up -d

Zugriff auf Open WebUI

Sobald die Container einsatzbereit sind, öffnen Sie Ihren bevorzugten Webbrowser und navigieren Sie zu http://localhost:3000. Dadurch wird die Open WebUI-Oberfläche direkt von Ihrem Computer geladen. Um den Einrichtungsvorgang zu starten, klicken Sie einfach auf die Schaltfläche „Erste Schritte“.

Geben Sie als Nächstes Ihren Namen, Ihre E-Mail-Adresse und Ihr Passwort ein und klicken Sie dann auf die Schaltfläche „Administratorkonto erstellen“, um Ihr Administratorkonto einzurichten.

Nachdem Ihr Konto nun erstellt ist, können Sie sich anmelden, um auf das Open WebUI-Dashboard zuzugreifen.

Installieren eines KI-Modells mit Ollama

Open WebUI bietet zwar eine umfassende Benutzeroberfläche, erfordert jedoch für die korrekte Funktion die Installation mindestens eines lokalen KI-Modells. Glücklicherweise vereinfacht Ollama den Prozess. Sie können je nach Ihren Anforderungen und verfügbaren Systemressourcen aus einer Vielzahl von Modellen wählen – darunter Llama3, Mistral, Gemma oder Vicuna.

Für diese Demonstration installieren wir gemma:2b, das für seine effiziente Ressourcennutzung im Vergleich zu größeren Modellen bekannt ist. Um die Installation zu starten, klicken Sie auf Ihr Profilsymbol und wählen Sie die Option „Admin-Panel“, um auf das Verwaltungs-Dashboard zuzugreifen.

Suchen Sie im Dashboard das Download-Symbol in der oberen rechten Ecke und klicken Sie darauf, um mit dem Herunterladen des Modells zu beginnen.

Nachdem Sie den Modellnamen angegeben haben, klicken Sie auf die Schaltfläche „Herunterladen“, um fortzufahren.

Nach dem erfolgreichen Download Ihres Modells wird eine Erfolgsbestätigungsmeldung angezeigt:

An diesem Punkt können Sie ein Modell aus der Open WebUI-Schnittstelle auswählen und es für Ihre Abfragen verwenden.

Nutzung von Open WebUI

Sobald Sie ein Modell ausgewählt haben, können Sie Fragen stellen. Als ich beispielsweise fragte: „Was ist Docker Compose?“, gab Open WebUI die folgende wertvolle Antwort:

Beginnen Sie mit der Verwendung von Openwebui

Um eine neue Unterhaltung zu beginnen, ohne den Kontext vorheriger Diskussionen zu übernehmen, klicken Sie einfach im linken Menü auf „Neuer Chat“.Diese Funktion ist besonders nützlich, wenn Sie ohne vorherige Einflüsse zu einem völlig anderen Thema wechseln möchten.

Im Suchbereich können Sie vergangene Unterhaltungen oder bestimmte Schlüsselwörter in Ihren gespeicherten Chats finden. Geben Sie einfach einen Begriff oder eine Phrase ein, und die Ergebnisse werden gefiltert, sodass Sie frühere Erkenntnisse oder Eingabeaufforderungen schnell wieder aufrufen können.

Der Arbeitsbereich bietet eine strukturierte Umgebung für die nahtlose Verwaltung verschiedener Projekte und verhindert deren Vermischung. Dies ist besonders nützlich für das Programmieren, Schreiben oder andere langfristige Arbeiten. Die Open WebUI enthält die folgenden Registerkarten:

Registerkarte „Modelle“ – Entdecken und laden Sie Community-Modelle oder Voreinstellungen herunter, importieren Sie Modelle aus externen Quellen und verwalten Sie installierte Modelle.
Registerkarte „Wissen“ – Durchsuchen Sie Wissenspakete der Community oder importieren Sie Ihre Dateien (PDF, Text, CSV), damit die KI sie in Antworten verwenden kann.
Registerkarte „Eingabeaufforderungen“ – Erkunden Sie Community-Vorlagen, importieren Sie vorhandene Eingabeaufforderungen und wenden Sie sie in verschiedenen Chats an.
Registerkarte „Tools“ – Suchen oder importieren Sie Tools wie Code-Executoren, Scraper oder Summarizer, die die direkte Verwendung in Chats für Automatisierungs- oder Spezialaufgaben ermöglichen.

Im Abschnitt „Chats“ wird Ihr Gesprächsverlauf mit der KI angezeigt, sodass Sie vorherige Chats erneut öffnen oder nicht mehr benötigte Chats löschen können:

Chat-Steuerelemente in Open WebUI

Das Chat- Bedienfeld bietet Optionen zum Anpassen des Gesprächsstils und der Antworten der KI. Sie können eine Systemaufforderung festlegen, um Ton oder Verhalten zu beeinflussen, und erweiterte Parameter wie Streaming-Chat-Antworten, Chunk-Größe, Funktionsaufruf, Seed, Stoppsequenz, Temperatur und Argumentationsaufwand anpassen. Sie können diese Parameter anpassen oder für eine optimale Leistung die Standardeinstellungen beibehalten.

Durch Klicken auf das Profilsymbol können Sie auf das Benutzermenü zugreifen, das Optionen für Einstellungen, archivierte Chats, Spielplatz, Admin-Panel, Dokumentation, Versionshinweise, Tastaturkürzel, Abmelden und Anzeigen aktiver Benutzer enthält.

Abschluss

Die Einrichtung von Open WebUI erfordert zwar zunächst einen Zeitaufwand, die Vorteile überwiegen jedoch deutlich. Die Plattform ermöglicht Nutzern die volle Kontrolle über ihre Daten, die Auswahl bevorzugter Modelle und die Personalisierung ihrer Benutzeroberfläche, wodurch die Abhängigkeit von Drittanbieter-Servern entfällt. Nach der Installation können Sie das Modell vollständig offline betreiben, ähnlich wie mit dem Gemini CLI AI Agent in Ihrem Terminal.

Quelle & Bilder