Łatwe uruchamianie lokalnych modeli językowych AI na komputerze za pomocą otwartego interfejsu użytkownika WebUI

Open WebUI wyróżnia się jako solidna, samodzielnie hostowana i open source’owa platforma, która umożliwia użytkownikom obsługę modeli językowych sztucznej inteligencji bezpośrednio z ich maszyn, zapewniając pełną kontrolę nad danymi. Obsługuje różne modele lokalne, w tym Ollama, a także obsługuje interfejsy API zgodne z OpenAI. Elastyczność instalacji jest kluczową cechą, ponieważ Open WebUI można skonfigurować za pomocą Dockera, Pythona lub Kubernetesa. W poniższym przewodniku przedstawiamy kompleksowy, krok po kroku proces instalacji Open WebUI na komputerze osobistym.

Korzyści z korzystania z Open WebUI

Open WebUI oferuje intuicyjną i elastyczną platformę do wykorzystania sztucznej inteligencji (AI), dostosowaną do Twoich specyficznych wymagań. Obsługuje różnorodne modele AI, jest kompatybilny ze wszystkimi głównymi systemami operacyjnymi i oferuje przyjazny dla użytkownika interfejs, przypominający ChatGPT. Wśród jego najważniejszych funkcji znajdują się Markdown, LaTeX, integracja z wtyczkami oraz zaawansowany system pamięci do efektywnego przechowywania treści.

To wszechstronne narzędzie pozwala użytkownikom podłączać wtyczki, zarządzać wieloma wątkami czatu i zapisywać komunikaty do wykorzystania w przyszłości. Jako inicjatywa open source, Open WebUI opiera się na ulepszeniach tworzonych przez społeczność, co umożliwia szybkie, ewolucyjne aktualizacje i wprowadzanie nowych funkcji.

Instalowanie Open WebUI

Aby rozpocząć korzystanie z Open WebUI za pośrednictwem Dockera, najpierw musisz utworzyć katalog projektu i przejść do niego:

mkdir openwebuicd openwebui

Następnie utwórz nowy plik o nazwie „docker-compose.yml” przy użyciu preferowanego edytora tekstu (np. Notatnika):

nano docker-compose.yml

Wstaw następującą konfigurację do nowo utworzonego pliku „docker-compose.yml”:

services: ollama: image: ollama/ollama:latest container_name: ollama ports: - "11434:11434" environment: - OLLAMA_USE_GPU=false volumes: - ollama_data:/root/.ollama restart: unless-stopped openwebui: image: ghcr.io/open-webui/open-webui:main container_name: openwebui ports: - "3000:8080" environment: - OLLAMA_BASE_URL=http://ollama:11434 depends_on: - ollama volumes: - open-webui:/app/backend/data restart: unless-stopped volumes: open-webui: ollama_data:

Ta konfiguracja inicjuje dwie niezbędne usługi: ollama i OpenWebUI. Usługa ollama wykorzystuje kontener ollama/ollama, mapuje na port 11434, wyłącza akcelerację GPU i zapisuje dane w woluminie ollama_data. Jednocześnie usługa OpenWebUI uzyskuje dostęp do kontenera open-webui, kierując ruch z portu 3000 do portu 8080, jednocześnie korzystając z usług ollama w zakresie operacji. Obie usługi oferują opcje automatycznego ponownego uruchamiania, chyba że zostaną zatrzymane ręcznie, a nazwane woluminy zapewniają trwałość danych.

Po zapisaniu konfiguracji Docker Compose uruchom usługę Docker za pomocą następującego polecenia:

docker compose up -d

Dostęp do Open WebUI

Po uruchomieniu kontenerów otwórz preferowaną przeglądarkę internetową i przejdź do adresu http://localhost:3000. Spowoduje to załadowanie interfejsu Open WebUI bezpośrednio z Twojego komputera. Aby rozpocząć proces instalacji, kliknij przycisk Rozpocznij.

Następnie wprowadź swoje imię, adres e-mail i hasło, po czym kliknij przycisk Utwórz konto administratora, aby utworzyć konto administratora.

Po utworzeniu konta możesz się zalogować, aby uzyskać dostęp do pulpitu nawigacyjnego Open WebUI.

Instalowanie modelu AI za pomocą Ollama

Chociaż Open WebUI oferuje kompleksowy interfejs, do jego prawidłowego działania wymagane jest zainstalowanie co najmniej jednego lokalnego modelu sztucznej inteligencji. Na szczęście, Ollama upraszcza ten proces. Możesz wybierać spośród wielu modeli – w tym llama3, mistral, gemma lub vicuna – w zależności od wymagań i dostępnych zasobów systemowych.

Na potrzeby tej demonstracji zainstalujemy gemma:2b, znaną z efektywnego wykorzystania zasobów w porównaniu z większymi modelami. Aby rozpocząć instalację, kliknij ikonę swojego profilu i wybierz opcję Panel administracyjny, aby uzyskać dostęp do panelu zarządzania.

Na pulpicie nawigacyjnym znajdź i kliknij ikonę pobierania w prawym górnym rogu, aby rozpocząć pobieranie modelu.

Po podaniu nazwy modelu kliknij przycisk pobierania, aby kontynuować.

Po pomyślnym pobraniu modelu zostanie wyświetlony komunikat potwierdzający:

W tym momencie możesz wybrać model z interfejsu Open WebUI i rozpocząć jego wykorzystanie do swoich zapytań.

Wykorzystanie otwartego interfejsu użytkownika WebUI

Po wybraniu modelu możesz zacząć zadawać pytania. Na przykład, kiedy zapytałem: „Czym jest Docker Compose?”, Open WebUI udzielił mi następującej, cennej odpowiedzi:

Aby rozpocząć nową rozmowę bez przenoszenia kontekstu z poprzednich dyskusji, wystarczy kliknąć „Nowy czat” w menu po lewej stronie. Ta funkcja jest szczególnie przydatna, gdy chcesz przejść do zupełnie innego tematu bez wcześniejszych inspiracji.

Sekcja wyszukiwania umożliwia odnalezienie wcześniejszych rozmów lub konkretnych słów kluczowych w zapisanych czatach. Wystarczy wpisać termin lub frazę, a wyniki zostaną przefiltrowane, umożliwiając szybki powrót do poprzednich spostrzeżeń lub podpowiedzi.

Obszar roboczy zapewnia ustrukturyzowane środowisko do płynnego zarządzania różnymi projektami, zapobiegając ich mieszaniu. Jest to szczególnie przydatne podczas kodowania, pisania lub prac długoterminowych. Open WebUI zawiera następujące zakładki:

Karta Modele – odkrywaj i pobieraj modele lub ustawienia społecznościowe, importuj modele z zewnętrznych źródeł i zarządzaj zainstalowanymi modelami.
Karta Wiedza – przeglądaj pakiety wiedzy społeczności lub importuj pliki (PDF, tekst, CSV), aby sztuczna inteligencja mogła je wykorzystać w odpowiedziach.
Karta Podpowiedzi – przeglądaj szablony społeczności, importuj istniejące podpowiedzi i stosuj je w różnych czatach.
Karta Narzędzia – znajdź lub zaimportuj narzędzia, takie jak programy do wykonywania kodu, narzędzia do scrapowania lub narzędzia do podsumowywania, umożliwiające bezpośrednie wykorzystanie w czatach do automatyzacji lub wykonywania specjalistycznych zadań.

Sekcja Czaty wyświetla historię Twoich rozmów z AI, umożliwiając Ci ponowne otwarcie poprzednich czatów lub usunięcie tych, których już nie potrzebujesz :

Sterowanie czatem w Open WebUI

Panel sterowania czatem oferuje opcje dostosowywania stylu konwersacji i odpowiedzi sztucznej inteligencji. Możesz ustawić monit systemowy, aby wpłynąć na ton lub zachowanie, a także dostosować parametry zaawansowane, takie jak strumieniowe odpowiedzi czatu, rozmiar fragmentu, wywołanie funkcji, zarodek, sekwencję zatrzymywania, temperaturę i wysiłek wnioskowania. Możesz swobodnie dostosować te parametry lub pozostawić je na domyślnych ustawieniach, aby zapewnić standardową wydajność.

Klikając ikonę profilu, możesz uzyskać dostęp do menu użytkownika, które zawiera opcje dotyczące ustawień, zarchiwizowanych czatów, placu zabaw, panelu administracyjnego, dokumentacji, notatek o wydaniach, skrótów klawiaturowych, wylogowywania się i przeglądania aktywnych użytkowników.

Wniosek

Chociaż konfiguracja Open WebUI wymaga początkowej inwestycji czasu, korzyści znacznie przewyższają nakład pracy. Platforma daje użytkownikom pełną kontrolę nad swoimi danymi, możliwość wyboru preferowanych modeli i personalizacji interfejsu, eliminując zależność od serwerów firm trzecich. Po instalacji można korzystać z modelu całkowicie offline, podobnie jak z agenta Gemini CLI AI w terminalu.

Źródło i obrazy