Microsoft: Phi-4 Reasoning konkuruje z większymi modelami i osiąga wydajność DeepSeek-R1

Microsoft: Phi-4 Reasoning konkuruje z większymi modelami i osiąga wydajność DeepSeek-R1

Microsoft przedstawia Phi-4-Reasoning: przełom w modelach językowych

W ekscytującym rozwoju sztucznej inteligencji Microsoft wprowadził Phi-4-reasoning, 14-miliardowy model parametrów zaprojektowany do rozwiązywania złożonych zadań rozumowania z imponującą skutecznością. Ten innowacyjny model został stworzony przy użyciu nadzorowanego dostrajania na specjalnie wyselekcjonowanym zestawie „nauczalnych” podpowiedzi, które zostały wygenerowane za pomocą o3-mini, zapewniając, że dane szkoleniowe są zarówno wysokiej jakości, jak i istotne.

Jednocześnie firma wypuściła Phi-4-reasoning-plus, wariant, który nie tylko zachowuje konstrukcję z 14 parametrami, ale także rozszerza możliwości wnioskowania poprzez generowanie dłuższych śladów wnioskowania, co pozwala na ulepszenie testów wydajności.

Wskaźniki wydajności: przewaga konkurencyjna

Zgodnie z wynikami szczegółowo opisanymi w niedawnym dokumencie Microsoftu, modele Phi-4-reasoning wykazują lepszą wydajność w porównaniu z kilkoma większymi modelami, w tym dobrze znanym DeepSeek-R1-Distill-Llama-70B. Co godne uwagi, modele te dorównują nawet pełnym możliwościom modelu DeepSeek-R1 w określonych testach porównawczych. Ponadto przewyższyły one Claude 3.7 Sonnet firmy Anthropic i Gemini 2 Flash Thinking firmy Google w niemal wszystkich zadaniach, z wyjątkami odnotowanymi dla GPQA i Calendar Planning.

Microsoft Phi-4-Rozumowanie
Model rozumowania Phi-4 firmy Microsoft

Wgląd w rozwój modelu i ograniczenia

Obiecująca wydajność modelu Phi-4-reasoning wzmacnia ideę, że skrupulatna selekcja danych dla nadzorowanego dostrajania (SFT) może znacznie zwiększyć możliwości modeli języka rozumowania. Ponadto istnieje potencjał zwiększenia wydajności poprzez wdrożenie technik uczenia się przez wzmacnianie.

Jednak model Phi-4-reasoning ma pewne ograniczenia. Przede wszystkim jest dostosowany do tekstu w języku angielskim i został przeszkolony głównie w Pythonie, wykorzystując standardowe biblioteki kodowania. Ponadto działa z ograniczoną długością kontekstu wynoszącą 32 000 tokenów. Aby lepiej zrozumieć jego możliwości i ograniczenia, czytelnicy mogą zapoznać się z dokumentem informacyjnym.

Przedstawiamy Phi-4-reasoning, dodając modele rozumowania do rodziny Phi SLM. Model jest trenowany zarówno z nadzorowanym dostrajaniem (z wykorzystaniem starannie wyselekcjonowanego zestawu danych demonstracji rozumowania), jak i z wykorzystaniem uczenia wzmacniającego.📌Konkurencyjne wyniki w testach porównawczych rozumowania z… pic.twitter.com/p2FkjD4qfu

Implikacje dla rozwoju sztucznej inteligencji

Microsoft przewiduje, że modele Phi-4-reasoning będą kluczowymi narzędziami w rozwijaniu badań nad modelami językowymi. Oczekuje się, że ich zastosowania będą szczególnie korzystne w środowiskach, w których pamięć lub zasoby obliczeniowe są ograniczone, scenariuszach z wysokimi wymaganiami dotyczącymi opóźnień i zadaniach wymagających intensywnego rozumowania.

Więcej informacji i spostrzeżeń znajdziesz w źródle: Źródło i obrazy.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *