Microsoft stellt Phi-4 vor: Ein hochmodernes kleines Sprachmodell mit 14 Milliarden Parametern

Microsoft stellt Phi-4 vor: Eine neue Ära kleiner Sprachmodelle

Anfang des Jahres brachte Microsoft die Phi-3-Familie auf den Markt und hat nun mit der Vorstellung des Phi-4-Modells einen bedeutenden Schritt nach vorne gemacht. Diese neueste Iteration ist ein anspruchsvolles Small Language Model (SLM) mit 14 Milliarden Parametern. Insbesondere weist Phi-4 bemerkenswerte Fähigkeiten auf und übertrifft OpenAIs GPT-4 sowohl in den MATH- als auch in den GPQA-KI-Benchmarks.

Entwickelt für mathematisches Denken

Microsoft führt die robusten mathematischen Denkfähigkeiten von Phi-4 auf die innovative Verwendung hochwertiger synthetischer Datensätze neben kuratierten organischen Daten zurück. Der Trainingsprozess für Phi-4 umfasste fortschrittliche Techniken wie Multi-Agent-Prompting, Self-Revision-Workflows und Anweisungsumkehr, die zusammen zur Erstellung der synthetischen Datensätze beitrugen, die den Kern des Trainingsmaterials des Modells bilden. Darüber hinaus implementierte Microsoft eine Ablehnungsstichprobe, um die Ausgabequalität des Modells während der Nachtrainingsphase zu verbessern.

Benchmark-Probleme ansprechen

In dem von Microsoft veröffentlichten technischen Dokument „ Phi-4 Technical Report“ befasste sich das Unternehmen mit potenziellen Problemen im Zusammenhang mit dem Durchsickern von Benchmark-Testdaten im Internet. Der Datenbereinigungsprozess von Phi-4 wurde verbessert, um sicherzustellen, dass die Auswertungsergebnisse nicht durch unangemessene Einflüsse verfälscht werden. Um diese Fortschritte zu bestätigen, bewertete Microsoft die Leistung von Phi-4 im Vergleich zu den im November 2024 abgehaltenen Mathematikwettbewerben AMC-10 und AMC-12, die nach der herkömmlichen Datenerfassung im Training stattfanden.

Vielversprechende Leistung und Einschränkungen

Wie im beigefügten Bild gezeigt, übertrifft die Leistung von Phi-4 sowohl Modelle ähnlicher Größe und Modelle mit offenem Gewicht als auch größere Modelle wie Gemini 1.5 Pro. Microsoft behauptet, dass die hohen Punktzahlen, die Phi-4 im MATH-Benchmark erreicht hat, nicht auf Überanpassung oder Datenkontamination zurückzuführen sind.

Trotz seiner beeindruckenden Fähigkeiten hat Phi-4 auch seine Grenzen. Da es relativ klein ist, hat es Probleme, Faktenwissen zu halluzinieren, und kann bei der strikten Ausführung detaillierter Anweisungen möglicherweise nicht überzeugen. Um Sicherheitsbedenken auszuräumen, arbeitete das Phi-4-Entwicklungsteam mit dem unabhängigen AI Red Team (AIRT) bei Microsoft zusammen, um potenzielle Risiken im Zusammenhang mit Phi-4 sowohl in typischen als auch in kontroversen Szenarien zu ermitteln.

Verfügbarkeit und Zukunftsaussichten

Phi-4 ist jetzt über die Azure AI Foundry unter dem Microsoft Research License Agreement (MSRLA) zugänglich. Darüber hinaus plant Microsoft, Phi-4 nächste Woche auf Hugging Face zu veröffentlichen und so den Zugriff auf dieses hochmoderne Modell zu erweitern.

Quelle & Bilder