Microsoft presenta Phi-4: un modelo de lenguaje pequeño de vanguardia con 14B de parámetros

Microsoft presenta Phi-4: una nueva era en modelos de lenguaje pequeños

A principios de este año, Microsoft lanzó la familia Phi-3 y ahora ha dado un paso importante con el lanzamiento del modelo Phi-4. Esta última versión es un sofisticado modelo de lenguaje pequeño (SLM) que incluye 14 mil millones de parámetros. Cabe destacar que Phi-4 muestra capacidades notables, superando al GPT-4 de OpenAI en los puntos de referencia de IA MATH y GPQA.

Diseñado para el razonamiento matemático

Microsoft atribuye las sólidas capacidades de razonamiento matemático de Phi-4 a su uso innovador de conjuntos de datos sintéticos de alta calidad junto con datos orgánicos seleccionados. El proceso de entrenamiento de Phi-4 implicó técnicas avanzadas, como indicaciones de múltiples agentes, flujos de trabajo de autorrevisión e inversión de instrucciones, que en conjunto contribuyeron a crear los conjuntos de datos sintéticos que forman el núcleo del material de entrenamiento del modelo. Además, Microsoft implementó un muestreo de rechazo para mejorar la calidad de salida del modelo durante su fase posterior al entrenamiento.

Abordar las preocupaciones sobre los puntos de referencia

En el documento técnico publicado por Microsoft, Phi-4 Technical Report , la empresa abordó los posibles problemas relacionados con la filtración de datos de pruebas comparativas en línea. Se han realizado mejoras en el proceso de descontaminación de datos de Phi-4, lo que garantiza que ninguna influencia indebida contamine los resultados de la evaluación. Para validar estos avances, Microsoft evaluó el rendimiento de Phi-4 en comparación con las competencias de matemáticas AMC-10 y AMC-12 celebradas en noviembre de 2024, que tuvieron lugar después de la recopilación de datos de entrenamiento convencional.

Rendimiento prometedor y limitaciones

Como se muestra en la imagen adjunta, el rendimiento de Phi-4 eclipsa a modelos de tamaño similar y modelos de peso abierto, así como a modelos más grandes como Gemini 1.5 Pro. Microsoft afirma que las altas puntuaciones que Phi-4 logró en el benchmark MATH no son consecuencia de sobreajuste o contaminación de datos.

A pesar de sus impresionantes capacidades, Phi-4 no está exento de limitaciones. Al ser relativamente pequeño, tiene dificultades para alucinar conocimientos factuales y puede no ser capaz de ejecutar rigurosamente instrucciones detalladas. Para mitigar los problemas de seguridad, el equipo de desarrollo de Phi-4 colaboró con el Equipo Rojo de Inteligencia Artificial (AIRT) independiente de Microsoft para identificar los posibles riesgos asociados con Phi-4 en escenarios típicos y adversos.

Disponibilidad y perspectivas futuras

Ahora se puede acceder a Phi-4 a través de Azure AI Foundry en virtud del Acuerdo de licencia de investigación de Microsoft (MSRLA). Además, Microsoft planea lanzar Phi-4 en Hugging Face la próxima semana, lo que ampliará el acceso a este modelo de vanguardia.

Fuente e imágenes