Microsoft: Phi-4 Reasoning konkurriert mit größeren Modellen und erreicht die Leistung von DeepSeek-R1

Microsoft: Phi-4 Reasoning konkurriert mit größeren Modellen und erreicht die Leistung von DeepSeek-R1

Microsoft stellt Phi-4-Reasoning vor: Ein Durchbruch bei Sprachmodellen

In einer spannenden Entwicklung für künstliche Intelligenz hat Microsoft Phi-4-Reasoning eingeführt, ein 14-Milliarden-Parameter-Modell, das komplexe Denkaufgaben mit beeindruckender Effizienz bewältigt. Dieses innovative Modell wurde mithilfe überwachter Feinabstimmung eines speziell zusammengestellten Satzes „lehrbarer“ Eingabeaufforderungen erstellt, die mithilfe von o3-mini generiert wurden. Dies stellt sicher, dass die Trainingsdaten sowohl qualitativ hochwertig als auch relevant sind.

Daneben hat das Unternehmen auch Phi-4-reasoning-plus herausgebracht, eine Variante, die nicht nur das 14B-Parameterdesign beibehält, sondern die Reasoning-Fähigkeiten durch die Erstellung längerer Reasoning-Traces verbessert und so verbesserte Leistungsbenchmarks bietet.

Leistungskennzahlen: Ein Wettbewerbsvorteil

Laut den im aktuellen Whitepaper von Microsoft beschriebenen Ergebnissen zeigen die Phi-4-Reasoning-Modelle eine höhere Leistung als mehrere größere Modelle, darunter das bekannte DeepSeek-R1-Distill-Llama-70B. Bemerkenswerterweise erreichen diese Modelle in bestimmten Benchmarks sogar die volle Leistung des DeepSeek-R1 -Modells. Darüber hinaus übertrafen sie das Claude 3.7 Sonnet von Anthropic und Gemini 2 Flash Thinking von Google in fast allen Aufgaben, mit Ausnahmen bei GPQA und Calendar Planning.

Microsoft Phi-4-Reasoning
Microsofts Phi-4-Reasoning-Modell

Einblicke in die Modellentwicklung und Einschränkungen

Die vielversprechende Leistung des Phi-4-Reasoning-Modells untermauert die Annahme, dass sorgfältige Datenpflege für überwachtes Feintuning (SFT) die Leistungsfähigkeit von Reasoning-Sprachmodellen deutlich verbessern kann. Darüber hinaus besteht das Potenzial für Leistungssteigerungen durch den Einsatz von Reinforcement-Learning-Techniken.

Das Phi-4-Reasoning-Modell weist jedoch gewisse Einschränkungen auf. Es ist primär auf englische Texte zugeschnitten und wurde überwiegend mit Python unter Verwendung von Standard-Programmierbibliotheken trainiert. Zudem arbeitet es mit einer begrenzten Kontextlänge von 32.000 Token. Für ein tieferes Verständnis seiner Möglichkeiten und Einschränkungen können Leser das Whitepaper lesen.

Einführung von Phi-4-Reasoning, das die Phi-Familie der SLMs um Reasoning-Modelle erweitert. Das Modell wird sowohl mit überwachter Feinabstimmung (unter Verwendung eines sorgfältig kuratierten Datensatzes von Reasoning-Demonstrationen) als auch mit Reinforcement Learning trainiert.📌Konkurrenzfähige Ergebnisse bei Reasoning-Benchmarks mit… pic.twitter.com/p2FkjD4qfu

Auswirkungen auf die KI-Entwicklung

Microsoft sieht die Phi-4-Reasoning-Modelle als zentrale Werkzeuge für die Weiterentwicklung der Sprachmodellforschung. Ihre Anwendung dürfte insbesondere in Umgebungen mit begrenzten Speicher- oder Rechenressourcen, Szenarien mit hohen Latenzanforderungen und Aufgaben, die intensives Denken erfordern, von Nutzen sein.

Weitere Informationen und Einblicke finden Sie in der Originalquelle: Quelle & Bilder.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert