Microsoft wprowadza Mu, model małego języka na urządzeniu dla systemu Windows 11

Microsoft prezentuje innowacyjny model języka MU w systemie Windows 11

W ekscytującym wydarzeniu, w zeszłym roku, Microsoft wprowadził przełomową funkcję w swoich komputerach Copilot+, wyposażonych w dedykowaną jednostkę przetwarzania neuronowego (NPU). Ta jednostka NPU jest w stanie wykonać ponad 40 bilionów operacji na sekundę (TOPS), znacznie zwiększając możliwości obliczeniowe urządzenia. Towarzyszy temu zastrzeżona technologia o nazwie Phi-Silica, która służy jako responsywny model języka na urządzeniu (SLM).Ten system nie tylko zwiększa możliwości aplikacji firm trzecich firmy Microsoft, ale także rozszerza funkcjonalności na różne aplikacje firm trzecich.

Przedstawiamy model Mu

Niedawno Microsoft posunął się jeszcze dalej w swoich ambicjach dotyczących AI, prezentując Mu, kompaktowy model języka na urządzeniu zintegrowany z systemem Windows 11. Zaprojektowany, aby wzmocnić agenta sterowanego przez AI w aplikacji Ustawienia, Mu ma na celu zrozumienie zapytań użytkowników wyrażonych w języku naturalnym. Ta innowacja jest płynnie zintegrowana z istniejącym polem wyszukiwania, usprawniając interakcje użytkowników. Obecnie użytkownicy Windows Insider w kanale Dev, którzy posiadają komputery Copilot+, mają dostęp do tej nowej funkcji.

Cechy wydajnościowe modelu języka Mu

Podobnie jak wcześniej omawiany Phi-Silica, Mu jest zoptymalizowany do efektywnego działania na NPU, oferując niezwykłą prędkość przetwarzania przekraczającą 100 tokenów na sekundę podczas pracy lokalnej. Zgodnie z oficjalnym ogłoszeniem Microsoftu, oto kilka kluczowych cech modelu języka Mu:

Mu jest klasyfikowany jako model języka kodera-dekodera składający się z 330 milionów parametrów.
Ta struktura kodera-dekodera oferuje o około 47% niższe opóźnienie pierwszego tokena i 4, 7-krotnie większą prędkość dekodowania w porównaniu do modeli o podobnych specyfikacjach, które oferują wyłącznie dekoder.
Aby zoptymalizować wydajność, Mu wprowadza podział wagi pomiędzy kilka komponentów, obniżając w ten sposób całkowitą liczbę parametrów.
Szkolenie Mu zostało przeprowadzone przy użyciu procesorów graficznych NVIDIA A100 w ramach usługi Azure Machine Learning, co zapewniło wysoką wydajność.
Warto zauważyć, że Mu charakteryzuje się wydajnością porównywalną z udoskonalonym modelem Phi-3.5-mini, mimo że jest dziesięciokrotnie mniejszy.
Model ten sprawdza się szczególnie dobrze w przypadku zapytań składających się z wielu słów, natomiast funkcja wyszukiwania w aplikacji Ustawienia nadal oferuje wyniki leksykalne i semantyczne w przypadku krótszych lub niekompletnych wpisów.

Jak korzystać z nowego agenta AI

Zapaleni użytkownicy zainteresowani poznaniem tego zaawansowanego agenta opartego na sztucznej inteligencji mogą pobrać kompilację systemu Windows 11 26120.3964 (KB5058496) lub dowolną nowszą wersję, aby uzyskać dostęp do innowacyjnych funkcji w aplikacji Ustawienia systemu Windows.

Źródło i obrazy