Microsoft presenta Phi-4: un modello di linguaggio di piccole dimensioni con 14 miliardi di parametri all’avanguardia

Microsoft presenta Phi-4: una nuova era nei modelli di linguaggio di piccole dimensioni

All’inizio di quest’anno, Microsoft ha lanciato la famiglia Phi-3 e ora ha compiuto un passo avanti significativo svelando il modello Phi-4. Questa ultima iterazione è un sofisticato modello di linguaggio piccolo (SLM) con 14 miliardi di parametri. In particolare, Phi-4 mostra capacità notevoli, superando GPT-4 di OpenAI nei benchmark AI MATH e GPQA.

Progettato per il ragionamento matematico

Microsoft attribuisce le solide capacità di ragionamento matematico di Phi-4 al suo uso innovativo di set di dati sintetici di alta qualità insieme a dati organici curati. Il processo di training per Phi-4 ha coinvolto tecniche avanzate come prompt multi-agente, flussi di lavoro di auto-revisione e inversione delle istruzioni, che hanno contribuito collettivamente alla creazione dei set di dati sintetici che costituiscono il nucleo del materiale di training del modello. Inoltre, Microsoft ha implementato il campionamento di rifiuto per migliorare la qualità dell’output del modello durante la sua fase di post-training.

Affrontare le preoccupazioni relative al benchmark

Nel documento tecnico pubblicato da Microsoft, Phi-4 Technical Report , l’azienda ha affrontato potenziali problemi relativi alla perdita di dati di test di benchmark online. Sono stati apportati miglioramenti al processo di decontaminazione dei dati di Phi-4, assicurando che nessuna influenza indebita contamini i risultati della valutazione. Per convalidare questi progressi, Microsoft ha valutato le prestazioni di Phi-4 rispetto alle competizioni di matematica AMC-10 e AMC-12 tenutesi a novembre 2024, che hanno avuto luogo dopo la raccolta dei dati di formazione convenzionale.

Prestazioni promettenti e limitazioni

Come dimostrato nell’immagine allegata, le prestazioni di Phi-4 eclissano sia i modelli di dimensioni simili sia i modelli open-weight, così come i modelli più grandi come Gemini 1.5 Pro. Microsoft afferma che gli alti punteggi ottenuti da Phi-4 nel benchmark MATH non sono una conseguenza di overfitting o contaminazione dei dati.

Nonostante le sue capacità impressionanti, Phi-4 non è privo di limiti. Essendo relativamente piccolo, ha difficoltà con la conoscenza fattuale allucinante e potrebbe non essere in grado di eseguire rigorosamente istruzioni dettagliate. Per mitigare i problemi di sicurezza e protezione, il team di sviluppo di Phi-4 ha collaborato con l’AI Red Team (AIRT) indipendente di Microsoft per individuare i potenziali rischi associati a Phi-4 in scenari sia tipici che avversari.

Disponibilità e prospettive future

Phi-4 è ora accessibile tramite Azure AI Foundry in base al Microsoft Research License Agreement (MSRLA). Inoltre, Microsoft prevede di rilasciare Phi-4 su Hugging Face la prossima settimana, ampliando l’accesso a questo modello all’avanguardia.

Fonte e immagini