微软推出 Phi-4：小型语言模型的新时代
今年早些时候，微软推出了 Phi-3 系列，现在又迈出了重要一步，推出了 Phi-4 模型。最新版本是一个复杂的小型语言模型 (SLM)，具有 140 亿个参数。值得注意的是，Phi-4 展示了非凡的能力，在 MATH 和 GPQA AI 基准测试中均超越了 OpenAI 的 GPT-4。
专为数学推理而设计
微软将 Phi-4 强大的数学推理能力归功于其创新地使用高质量的合成数据集和精选的有机数据。Phi-4 的训练过程涉及多智能体提示、自我修订工作流程和指令逆转等先进技术，这些技术共同有助于创建构成模型训练材料核心的合成数据集。此外，微软在训练后阶段实施了拒绝抽样以提高模型的输出质量。
解决基准问题
在微软发布的技术论文《Phi-4 技术报告》中，该公司解决了基准测试数据在线泄露的潜在问题。对 Phi-4 的数据净化过程进行了改进，确保不会有不当影响污染评估结果。为了验证这些进步，微软根据 2024 年 11 月举行的 AMC-10 和 AMC-12 数学竞赛评估了 Phi-4 的表现，这些竞赛是在常规训练数据收集之后举行的。
良好的性能和局限性
如附图所示，Phi-4 的性能超越了类似尺寸和开放重量的模型，以及 Gemini 1.5 Pro 等更大的模型。微软声称，Phi-4 在 MATH 基准测试中取得的高分并不是过度拟合或数据污染的结果。
尽管 Phi-4 功能强大，但也有其局限性。由于体型相对较小，它难以产生幻觉般的事实知识，可能无法严格执行详细的指令。为了缓解安全问题，Phi-4 开发团队与微软的独立 AI Red Team (AIRT) 合作，以查明在典型和对抗场景下与 Phi-4 相关的潜在风险。
可用性和未来前景
Phi-4 现已根据微软研究许可协议 (MSRLA) 通过Azure AI Foundry提供。此外，微软计划下周在 Hugging Face 上发布 Phi-4，扩大对这一尖端模型的访问。
发表回复