Microsoft revela Phi-4: um modelo de linguagem pequena de parâmetro 14B de ponta

Microsoft revela Phi-4: uma nova era em modelos de linguagem pequena

No início deste ano, a Microsoft lançou a família Phi-3 e agora deu um passo significativo à frente ao revelar o modelo Phi-4. Esta última iteração é um sofisticado modelo de linguagem pequena (SLM) com 14 bilhões de parâmetros. Notavelmente, o Phi-4 apresenta capacidades notáveis, superando o GPT-4 da OpenAI em benchmarks de IA MATH e GPQA.

Projetado para raciocínio matemático

A Microsoft atribui as robustas habilidades de raciocínio matemático do Phi-4 ao seu uso inovador de conjuntos de dados sintéticos de alta qualidade juntamente com dados orgânicos selecionados. O processo de treinamento do Phi-4 envolveu técnicas avançadas, como prompting multiagente, fluxos de trabalho de autorrevisão e reversão de instruções, que coletivamente contribuíram para criar os conjuntos de dados sintéticos que formam o núcleo do material de treinamento do modelo. Além disso, a Microsoft implementou amostragem de rejeição para aprimorar a qualidade de saída do modelo durante sua fase pós-treinamento.

Abordando as preocupações com os benchmarks

No artigo técnico lançado pela Microsoft, Phi-4 Technical Report , a empresa abordou potenciais problemas envolvendo o vazamento de dados de teste de benchmark online. Melhorias foram feitas no processo de descontaminação de dados do Phi-4, garantindo que nenhuma influência indevida manche os resultados da avaliação. Para validar esses avanços, a Microsoft avaliou o desempenho do Phi-4 em relação às competições de matemática AMC-10 e AMC-12 realizadas em novembro de 2024, que ocorreram após a coleta de dados de treinamento convencional.

Desempenho promissor e limitações

Conforme demonstrado na imagem anexa, o desempenho do Phi-4 eclipsa modelos de tamanho similar e modelos de peso aberto, bem como modelos maiores, como o Gemini 1.5 Pro. A Microsoft afirma que as altas pontuações alcançadas pelo Phi-4 no benchmark MATH não são consequência de overfitting ou contaminação de dados.

Apesar de suas capacidades impressionantes, o Phi-4 não está isento de limitações. Sendo relativamente pequeno, ele luta contra o conhecimento factual alucinante e pode falhar na execução rigorosa de instruções detalhadas. Para mitigar preocupações com segurança, a equipe de desenvolvimento do Phi-4 colaborou com a AI Red Team (AIRT) independente da Microsoft para identificar riscos potenciais associados ao Phi-4 em cenários típicos e adversários.

Disponibilidade e Perspectivas Futuras

O Phi-4 agora está acessível por meio do Azure AI Foundry sob o Microsoft Research License Agreement (MSRLA). Além disso, a Microsoft planeja lançar o Phi-4 no Hugging Face na próxima semana, expandindo o acesso a esse modelo de ponta.

Fonte e Imagens