Microsoft bringt Mu auf den Markt, ein geräteinternes kleines Sprachmodell für Windows 11

Microsoft stellt innovatives Mu-Sprachmodell in Windows 11 vor

Microsoft hat im vergangenen Jahr mit seinen Copilot+ PCs eine bahnbrechende Funktion eingeführt, die mit einer dedizierten neuronalen Verarbeitungseinheit (NPU) ausgestattet ist. Diese NPU kann über 40 Billionen Rechenoperationen pro Sekunde (TOPS) ausführen und steigert so die Rechenleistung des Geräts deutlich. Begleitet wird diese Innovation durch die proprietäre Technologie Phi-Silica, die als geräteinternes responsives Sprachmodell (SLM) dient. Dieses System verbessert nicht nur Microsofts eigene Anwendungen, sondern erweitert auch die Funktionalität verschiedener Drittanbieteranwendungen.

Einführung des Mu-Modells

Microsoft hat seine KI-Ambitionen kürzlich mit der Einführung von Mu weiter vorangetrieben, einem kompakten, geräteinternen Sprachmodell, das in Windows 11 integriert ist. Mu wurde entwickelt, um einen KI-gesteuerten Agenten in der Einstellungen-App zu unterstützen und soll in natürlicher Sprache formulierte Benutzeranfragen verstehen. Diese Innovation ist nahtlos in das bestehende Suchfeld integriert und optimiert so die Benutzerinteraktion. Aktuell haben Windows Insider im Dev Channel mit Copilot+-PCs Zugriff auf diese neue Funktion.

Leistungsmerkmale des Mu-Sprachmodells

Ähnlich wie das zuvor besprochene Phi-Silica ist Mu für den effektiven Betrieb auf NPUs optimiert und bietet eine bemerkenswerte Verarbeitungsgeschwindigkeit von über 100 Token pro Sekunde im lokalen Betrieb. Laut Microsofts offizieller Ankündigung sind hier einige wichtige Merkmale des Mu-Sprachmodells aufgeführt:

Mu wird als Encoder-Decoder-Sprachmodell mit 330 Millionen Parametern klassifiziert.
Dieses Encoder-Decoder-Framework bietet eine um etwa 47 % reduzierte Latenz des ersten Tokens und eine 4, 7-mal schnellere Dekodierungsgeschwindigkeit im Vergleich zu Nur-Decoder-Modellen mit ähnlichen Spezifikationen.
Um die Effizienz zu optimieren, implementiert Mu eine Gewichtsverteilung über mehrere Komponenten hinweg und reduziert so die Gesamtzahl der Parameter.
Das Training von Mu wurde mithilfe von NVIDIA A100-GPUs innerhalb von Azure Machine Learning ausgeführt, um leistungsstarke Ergebnisse sicherzustellen.
Bemerkenswert ist, dass Mu trotz seiner Größe von etwa einem Zehntel mit dem fein abgestimmten Modell Phi-3.5-mini vergleichbare Leistungsniveaus aufweist.
Dieses Modell eignet sich besonders gut für die Verarbeitung von Abfragen mit mehreren Wörtern, während die Suchfunktion in der App „Einstellungen“ weiterhin lexikalische und semantische Ergebnisse für kürzere oder unvollständige Eingaben liefert.

So erleben Sie den neuen KI-Agenten

Begeisterte Benutzer, die diesen fortschrittlichen KI-gestützten Agenten erkunden möchten, können Windows 11 Build 26120.3964 (KB5058496) oder eine nachfolgende Version herunterladen, um auf die innovativen Funktionen in der Windows-Einstellungs-App zuzugreifen.

Quelle & Bilder