Microsoft przedstawia Phi-4: najnowocześniejszy 14-bajtowy model małego języka

Microsoft przedstawia Phi-4: nową erę w modelach małych języków

Wcześniej w tym roku Microsoft wprowadził na rynek rodzinę Phi-3, a teraz wykonał znaczący krok naprzód, prezentując model Phi-4. Ta najnowsza wersja to zaawansowany model małego języka (SLM) zawierający 14 miliardów parametrów. Co godne uwagi, Phi-4 prezentuje niezwykłe możliwości, przewyższając GPT-4 firmy OpenAI zarówno w testach porównawczych MATH, jak i GPQA AI.

Zaprojektowany do rozumowania matematycznego

Microsoft przypisuje solidne zdolności Phi-4 do rozumowania matematycznego innowacyjnemu wykorzystaniu wysokiej jakości syntetycznych zestawów danych wraz z wyselekcjonowanymi danymi organicznymi. Proces szkolenia Phi-4 obejmował zaawansowane techniki, takie jak monitowanie wielu agentów, przepływy pracy z samorewizją i odwracanie instrukcji, które łącznie przyczyniły się do stworzenia syntetycznych zestawów danych, które stanowią rdzeń materiału szkoleniowego modelu. Ponadto Microsoft wdrożył próbkowanie odrzucenia w celu poprawy jakości wyników modelu w fazie po szkoleniu.

Rozwiązywanie problemów związanych z punktami odniesienia

W dokumencie technicznym opublikowanym przez Microsoft, Phi-4 Technical Report , firma zajęła się potencjalnymi problemami związanymi z wyciekiem danych testów porównawczych online. Wprowadzono ulepszenia w procesie dekontaminacji danych Phi-4, aby zapewnić, że żaden niepożądany wpływ nie zanieczyści wyników oceny. Aby zweryfikować te postępy, Microsoft ocenił wydajność Phi-4 w porównaniu z konkursami matematycznymi AMC-10 i AMC-12, które odbyły się w listopadzie 2024 r., które odbyły się po konwencjonalnym zbieraniu danych szkoleniowych.

Obiecująca wydajność i ograniczenia

Jak pokazano na załączonym obrazku, wydajność Phi-4 przewyższa oba modele o podobnych rozmiarach i modele o otwartej wadze, a także większe modele, takie jak Gemini 1.5 Pro. Microsoft zapewnia, że wysokie wyniki osiągnięte przez Phi-4 w teście porównawczym MATH nie są konsekwencją nadmiernego dopasowania lub zanieczyszczenia danych.

Pomimo imponujących możliwości Phi-4 nie jest pozbawiony ograniczeń. Będąc stosunkowo małym, ma problemy z halucynacją wiedzy faktycznej i może nie być w stanie rygorystycznie wykonywać szczegółowych instrukcji. Aby złagodzić obawy dotyczące bezpieczeństwa, zespół programistów Phi-4 współpracował z niezależnym AI Red Team (AIRT) w Microsoft, aby wskazać potencjalne zagrożenia związane z Phi-4 zarówno w typowych, jak i antagonistycznych scenariuszach.

Dostępność i perspektywy na przyszłość

Phi-4 jest teraz dostępny za pośrednictwem Azure AI Foundry na mocy Microsoft Research License Agreement (MSRLA). Ponadto Microsoft planuje udostępnić Phi-4 na Hugging Face w przyszłym tygodniu, rozszerzając dostęp do tego najnowocześniejszego modelu.

Źródło i obrazy