Pierwsze kroki z Foundry Local AI: przewodnik krok po kroku

Wykorzystanie mocy modeli uczenia się języka (LLM) na komputerze z systemem Windows stało się prostsze dzięki innowacyjnemu narzędziu Foundry Local AI firmy Microsoft. A co najlepsze, jest bezpłatne! To solidne rozwiązanie otwiera drzwi do szerokiej gamy modeli AI do eksploracji i eksperymentowania.

Zrozumienie lokalnej sztucznej inteligencji Foundry

Microsoft’s Foundry Local to przełomowa platforma dostosowana głównie do deweloperów, którzy chcą wdrażać LLM bezpośrednio w swoich systemach bez konieczności połączenia z Internetem. Chociaż może nie odtwarzać doświadczeń oferowanych przez popularne usługi AI w chmurze, takie jak ChatGPT lub Copilot, zapewnia doskonałą drogę do testowania różnych modeli AI.

Ponieważ narzędzie znajduje się wciąż w fazie publicznej wersji zapoznawczej, należy pamiętać, że jest stosunkowo podstawowe, a w miarę postępu prac nad jego rozwojem można spodziewać się udoskonaleń i nowych funkcji.

Wymagania wstępne dla Foundry Local AI

Przed rozpoczęciem instalacji upewnij się, że Twój komputer z systemem Windows jest wyposażony w sprzęt umożliwiający uruchomienie Foundry Local AI. Chociaż Microsoft sugeruje konfigurację Copilot+ klasy high-end, niższe specyfikacje nadal mogą wystarczyć.

Wymagania systemowe są następujące:

64-bitowa wersja systemu Windows 10 lub 11, Windows Server 2025 lub macOS
Co najmniej 3 GB wolnego miejsca na dysku twardym (zalecane 15 GB w przypadku instalacji wielu modeli)
Co najmniej 8 GB pamięci RAM (16 GB to optymalna ilość dla optymalnej wydajności)
Choć nie jest to obowiązkowe, zaleca się posiadanie procesora graficznego NVIDIA (seria 2000 lub nowszy), Qualcomm Snapdragon X Elite (8 GB lub więcej), procesora graficznego AMD (seria 6000 lub nowszy) lub układu Apple Silicon

Uwaga: Dostęp do Internetu jest konieczny tylko podczas instalacji i dodawania nowych modeli AI. Po instalacji możesz swobodnie korzystać z trybu offline. Upewnij się również, że masz uprawnienia administratora do procesu instalacji.

Instalacja Foundry Local AI krok po kroku

W przeciwieństwie do konwencjonalnego oprogramowania, instalacja Foundry Local jest wykonywana za pomocą wiersza poleceń przy użyciu winget. Nie obawiaj się! Nie potrzebujesz zaawansowanych umiejętności technicznych, aby przeprowadzić ten proces.

Jeśli wolisz standardową metodę instalacji, możesz pobrać aplikację z serwisu GitHub.

Aby rozpocząć instalację systemu Windows, uzyskaj dostęp do okna terminala, naciskając Win+ X, a następnie wybierając Terminal (admin). Następnie wykonaj to polecenie:

winget install Microsoft. FoundryLocal

Instalowanie Foundry Local AI za pośrednictwem terminala Windows.

Przeczytaj i zaakceptuj warunki instalacji, a następnie cierpliwie czekaj na postęp instalacji, co może potrwać chwilę.

Użytkownicy systemu macOS powinni wprowadzić poniższe polecenie w oknie terminala:

brew tap microsoft/foundrylocal && brew install foundrylocal

Jeśli chcesz zainstalować LLM na Raspberry Pi, postępuj zgodnie z instrukcjami instalacji dostępnymi na oficjalnej stronie.

Instalowanie pierwszego modelu AI

Na początek Microsoft zaleca zainstalowanie lekkiego modelu, takiego jak Phi-3.5-mini. Ten model jest idealny dla osób z ograniczoną przestrzenią na dysku, ale dla łatwego wprowadzenia do możliwości AI.

Aby zainstalować pierwszy model, po prostu otwórz terminal i wpisz:

foundry model run phi-3.5-mini

Czas instalacji może się różnić w zależności od wybranego modelu; w moim przypadku Phi-3.5-mini zostało ukończone w zaledwie dwie minuty. Istotną zaletą Foundry Local AI jest możliwość zainstalowania najbardziej odpowiedniego wariantu modelu na podstawie konfiguracji sprzętowej.

foundry model list

To polecenie wyświetli każdy zainstalowany model wraz z wymaganą przestrzenią dyskową i jego konkretnym przypadkiem użycia. Obecnie wszystkie dostępne modele są przeznaczone do zadań związanych z ukończeniem czatu.

Pełna lista modeli na stronie Foundry Local.

Współpraca z lokalnymi modelami AI

Interakcja z zainstalowanymi modelami AI odbywa się całkowicie za pośrednictwem wiersza poleceń, ponieważ nie ma jeszcze kompleksowego interfejsu graficznego. Interakcja z modelami jest tak prosta, jak komunikacja z dowolnym tradycyjnym chatbotem AI. Wystarczy wpisać tekst w wierszu poleceń, który brzmi Tryb interaktywny, wprowadź swój tekst.

Każdy model ma swoje unikalne ograniczenia. Na przykład testowałem model Phi-3.5-mini, zadając pytanie „Czym jest Foundry Local?”.Przyznał on swoje ograniczenia dotyczące wiedzy do początku 2023 r., mimo to udzielając odpowiedzi. Jednak dokładność jego odpowiedzi może pozostawiać wiele do życzenia.

Korzystanie z Foundry Local w celu uzyskania odpowiedzi na pytania dotyczące Foundry Local.

Aby uzyskać optymalne wyniki, zadawaj proste pytania, które nie wymagają wyczerpujących badań ani natychmiastowych aktualizacji.

Jeśli chcesz przełączać się między wcześniej zainstalowanymi modelami, użyj następującego polecenia:

foundry model run modelname

Pamiętaj, aby zastąpić „modelname” nazwą wybranego modelu.

Jeśli jesteś w trybie interaktywnym (czatowym), pamiętaj, że musisz zamknąć okno terminala, aby przełączyć się między sesjami, ponieważ obecnie nie jest dostępne polecenie wyjścia — to z pewnością funkcja, na którą użytkownicy z niecierpliwością czekają!

Podstawowe polecenia lokalnej AI Foundry

Chociaż istnieje kompleksowa lista, znajomość kilku podstawowych poleceń wystarczy, aby skutecznie obsługiwać Foundry Local. Polecenia te obejmują główne kategorie poleceń modelu, usługi i pamięci podręcznej.

Aby wyświetlić wszystkie ogólne polecenia dla Foundry Local, skorzystaj z następującego polecenia:

foundry --help

Aby zapoznać się z poleceniami specyficznymi dla danego modelu, wprowadź:

foundry model --help

Aby sprawdzić polecenia serwisowe, wystarczy wpisać:

foundry service --help

A w przypadku poleceń dotyczących pamięci podręcznej użyj:

foundry cache --help

Opanowanie tych poleceń pozwoli Ci z łatwością poruszać się po interfejsie Foundry Local, nawet gdy pojawią się nowe polecenia wraz z przyszłymi aktualizacjami. Jeśli potrzebujesz więcej możliwości niż oferuje Foundry Local, rozważ wypróbowanie sprawdzonych alternatyw, takich jak ChatGPT lub inne innowacyjne narzędzia AI.

Często zadawane pytania

1. Co mogę zrobić dzięki Foundry Local AI?

Foundry Local AI umożliwia uruchamianie różnych modeli nauki języków na komputerze bez konieczności połączenia z Internetem, co pozwala na eksperymentowanie i rozwój technologii AI. Obecnie koncentruje się na zadaniach związanych z kończeniem czatu.

2. Czy do uruchomienia Foundry Local AI konieczny jest drogi komputer?

Nie, chociaż zalecana jest konfiguracja wyższej klasy, Foundry Local AI może działać na sprzęcie średniej klasy. Jeśli spełniasz określone wymagania systemowe, powinieneś móc korzystać z możliwości narzędzia.

3. Czy istnieją jakieś znane ograniczenia w korzystaniu z Foundry Local AI?

Tak, modele takie jak Phi-3.5-mini mają ograniczenia związane z datą graniczną wiedzy, co oznacza, że mogą dostarczać nieaktualnych lub nieprawidłowych informacji. Ponadto interfejs wiersza poleceń, choć funkcjonalny, nie ma komponentów graficznych, które nowsi użytkownicy mogą uznać za bardziej intuicyjne.

Źródło i obrazy