Erste Schritte mit Foundry Local AI: Eine Schritt-für-Schritt-Anleitung

Mit Microsofts innovativem Tool Foundry Local AI können Sie die Leistungsfähigkeit von Sprachlernmodellen (LLMs) auf Ihrem Windows-PC einfacher nutzen. Und das Beste: Es ist kostenlos! Diese robuste Lösung eröffnet Ihnen Zugang zu einer Vielzahl von KI-Modellen zum Erkunden und Experimentieren.

Foundry Local AI verstehen

Microsoft Foundry Local ist eine bahnbrechende Plattform, die sich vor allem an Entwickler richtet, die LLMs direkt auf ihren Systemen einsetzen möchten, ohne eine Internetverbindung zu benötigen. Zwar bietet sie nicht die gleichen Möglichkeiten wie beliebte Cloud-KI-Dienste wie ChatGPT oder Copilot, bietet aber eine hervorragende Möglichkeit zum Testen verschiedener KI-Modelle.

Da es sich noch in der öffentlichen Vorschauphase befindet, sollten Sie bedenken, dass das Tool relativ einfach ist und im Laufe der Entwicklung Verbesserungen und neue Funktionen erwartet werden.

Voraussetzungen für Foundry Local AI

Bevor Sie mit der Installation beginnen, stellen Sie sicher, dass Ihr Windows-PC für Foundry Local AI geeignet ist. Microsoft empfiehlt zwar ein High-End-Setup mit Copilot+, aber auch niedrigere Spezifikationen können ausreichend sein.

Ihre Systemanforderungen sind wie folgt:

64-Bit-Version von Windows 10 oder 11, Windows Server 2025 oder macOS
Mindestens 3 GB Festplattenspeicher (15 GB empfohlen für die Installation mehrerer Modelle)
Mindestens 8 GB RAM (16 GB sind ideal für optimale Leistung)
Obwohl nicht zwingend erforderlich, wird ein NVIDIA-Grafikprozessor (2000er-Serie oder neuer), ein Qualcomm Snapdragon X Elite (8 GB oder mehr), ein AMD-Grafikprozessor (6000er-Serie oder neuer) oder ein Apple-Chip empfohlen.

Hinweis: Internetzugang ist nur während der Installation und beim Hinzufügen neuer KI-Modelle erforderlich. Nach der Installation können Sie problemlos offline arbeiten. Stellen Sie außerdem sicher, dass Sie für den Installationsvorgang über Administratorrechte verfügen.

Schrittweise Installation von Foundry Local AI

Im Gegensatz zu herkömmlicher Software erfolgt die Installation von Foundry Local über die Befehlszeile mit winget. Keine Sorge! Sie benötigen hierfür keine fortgeschrittenen technischen Kenntnisse.

Wenn Sie eine Standardinstallationsmethode bevorzugen, können Sie es stattdessen von GitHub herunterladen.

Um mit der Windows-Installation zu beginnen, öffnen Sie ein Terminalfenster, indem Sie Win+ drücken Xund anschließend Terminal (admin) auswählen. Führen Sie anschließend diesen Befehl aus:

winget install Microsoft. FoundryLocal

Installieren von Foundry Local AI über das Windows-Terminal.

Lesen und akzeptieren Sie die Installationsbedingungen und warten Sie dann geduldig, während die Installation fortschreitet. Dies kann einige Augenblicke dauern.

macOS-Benutzer geben den folgenden Befehl in ein Terminalfenster ein:

brew tap microsoft/foundrylocal && brew install foundrylocal

Wenn Sie ein LLM auf einem Raspberry Pi installieren möchten, befolgen Sie die entsprechenden Installationsanweisungen auf der offiziellen Site.

Installieren Ihres ersten KI-Modells

Microsoft empfiehlt die Installation eines leichten Modells wie dem Phi-3.5-mini. Dieses Modell eignet sich ideal für Benutzer mit begrenztem Speicherplatz, ermöglicht aber einen mühelosen Einstieg in die KI-Funktionen.

Um Ihr erstes Modell zu installieren, öffnen Sie einfach Ihr Terminal und geben Sie ein:

foundry model run phi-3.5-mini

Die Installationsdauer kann je nach gewähltem Modell variieren; in meinem Fall war Phi-3.5-mini in nur zwei Minuten fertig. Ein wesentlicher Vorteil von Foundry Local AI ist die Möglichkeit, die am besten geeignete Modellvariante basierend auf Ihrer Hardwarekonfiguration zu installieren.

foundry model list

Dieser Befehl zeigt jedes installierte Modell zusammen mit dem benötigten Speicherplatz und seinem spezifischen Anwendungsfall an. Derzeit sind alle verfügbaren Modelle für Chat-Vervollständigungsaufgaben konzipiert.

Vollständige Modellliste auf Foundry Local.

Einbindung lokaler KI-Modelle

Die Interaktion mit Ihren installierten KI-Modellen erfolgt vollständig über die Befehlszeile, da noch keine umfassende grafische Benutzeroberfläche vorhanden ist. Die Interaktion mit den Modellen ist so unkompliziert wie die Kommunikation mit einem herkömmlichen KI-Chatbot. Geben Sie einfach Ihren Text in die Eingabeaufforderung „ Interaktiver Modus, bitte geben Sie Ihren Text ein“ ein.

Jedes Modell hat seine eigenen Einschränkungen. Beispielsweise habe ich das Phi-3.5-mini-Modell mit der Frage „Was ist Foundry Local?“ getestet. Es erkannte seine Wissenseinschränkungen bis Anfang 2023 und lieferte dennoch eine Antwort. Die Genauigkeit der Antwort lässt jedoch möglicherweise zu wünschen übrig.

Verwenden Sie Foundry Local, um Fragen zu Foundry Local zu beantworten.

Um optimale Ergebnisse zu erzielen, beschränken Sie sich auf unkomplizierte Anfragen, die keine umfassenden Recherchen oder sofortigen Aktualisierungen erfordern.

Wenn Sie zwischen zuvor installierten Modellen wechseln möchten, verwenden Sie den folgenden Befehl:

foundry model run modelname

Denken Sie daran, „Modellname“ durch den Namen Ihres ausgewählten Modells zu ersetzen.

Wenn Sie sich im interaktiven Modus (Chat-Modus) befinden, beachten Sie, dass Sie das Terminalfenster schließen müssen, um die Sitzung zu wechseln, da derzeit kein Befehl zum Beenden verfügbar ist – definitiv eine Funktion, auf die die Benutzer sehnsüchtig warten!

Wichtige lokale KI-Befehle für die Gießerei

Obwohl eine umfassende Liste vorhanden ist, reicht die Kenntnis einiger Kernbefehle aus, um Foundry Local effektiv zu betreiben. Diese Befehle decken die Hauptkategorien der Modell-, Service- und Cache-Befehle ab.

Um alle allgemeinen Befehle für Foundry Local anzuzeigen, verwenden Sie Folgendes:

foundry --help

Um modellspezifische Befehle zu erkunden, geben Sie Folgendes ein:

foundry model --help

Um Servicebefehle zu überprüfen, geben Sie einfach Folgendes ein:

foundry service --help

Und für Cache-Befehle verwenden Sie:

foundry cache --help

Wenn Sie diese Befehle beherrschen, navigieren Sie mühelos durch die Foundry Local-Oberfläche, auch wenn mit zukünftigen Updates neue Befehle hinzukommen. Wenn Sie mehr Funktionen benötigen als Foundry Local bietet, sollten Sie etablierte Alternativen wie ChatGPT oder andere innovative KI-Tools in Betracht ziehen.

Häufig gestellte Fragen

1. Was kann ich mit Foundry Local AI tun?

Foundry Local AI ermöglicht Ihnen die Ausführung verschiedener Sprachlernmodelle auf Ihrem PC ohne Internetverbindung und ermöglicht so das Experimentieren und Entwickeln mit KI-Technologien. Derzeit konzentriert es sich auf Chat-Vervollständigungsaufgaben.

2. Ist zum Ausführen von Foundry Local AI ein teurer Computer erforderlich?

Nein. Obwohl eine High-End-Konfiguration empfohlen wird, kann Foundry Local AI auch auf Mittelklasse-Hardware ausgeführt werden. Sofern Sie die angegebenen Systemanforderungen erfüllen, sollten Sie die Funktionen des Tools nutzen können.

3. Gibt es bekannte Einschränkungen bei der Verwendung von Foundry Local AI?

Ja, Modelle wie Phi-3.5-mini unterliegen Einschränkungen hinsichtlich des Wissensstands, was bedeutet, dass sie möglicherweise veraltete oder falsche Informationen liefern. Darüber hinaus fehlt der Befehlszeilenschnittstelle zwar die Funktionalität, es fehlen jedoch grafische Komponenten, die für neuere Benutzer möglicherweise intuitiver sind.

Quelle & Bilder