Microsoft가 Phi-4를 공개: 소규모 언어 모델의 새로운 시대
올해 초 Microsoft는 Phi-3 제품군을 출시했고, 이제 Phi-4 모델을 공개하여 상당한 진전을 이루었습니다. 이 최신 반복은 140억 개의 매개변수를 갖춘 정교한 소규모 언어 모델(SLM)입니다. 특히 Phi-4는 놀라운 기능을 선보이며 MATH와 GPQA AI 벤치마크에서 OpenAI의 GPT-4를 능가합니다.
수학적 추론을 위해 설계됨
Microsoft는 Phi-4의 강력한 수학적 추론 능력을 큐레이팅된 유기적 데이터와 함께 고품질 합성 데이터 세트를 혁신적으로 사용한 데 기인합니다. Phi-4의 훈련 프로세스에는 다중 에이전트 프롬프팅, 자체 수정 워크플로, 지시 반전과 같은 고급 기술이 포함되었으며, 이는 모두 모델의 훈련 자료의 핵심을 형성하는 합성 데이터 세트를 만드는 데 기여했습니다. 또한 Microsoft는 모델의 훈련 후 단계에서 모델의 출력 품질을 향상시키기 위해 거부 샘플링을 구현했습니다.
벤치마크 문제 해결
Microsoft에서 발표한 기술 문서인 Phi-4 기술 보고서 에서 이 회사는 벤치마크 테스트 데이터가 온라인에서 유출되는 것과 관련된 잠재적인 문제를 다루었습니다. Phi-4의 데이터 오염 제거 프로세스가 개선되어 평가 결과에 부당한 영향이 미치지 않도록 했습니다. 이러한 발전을 검증하기 위해 Microsoft는 기존 교육 데이터 수집 후 진행된 2024년 11월에 개최된 AMC-10 및 AMC-12 수학 대회와 비교하여 Phi-4의 성능을 평가했습니다.
유망한 성능과 한계
첨부된 이미지에서 보여지듯이, Phi-4의 성능은 비슷한 크기의 모델과 오픈 웨이트 모델, 그리고 Gemini 1.5 Pro와 같은 더 큰 모델을 모두 능가합니다. Microsoft는 Phi-4가 MATH 벤치마크에서 달성한 높은 점수가 과적합이나 데이터 오염의 결과가 아니라고 주장합니다.
인상적인 기능에도 불구하고 Phi-4는 한계가 없는 것은 아닙니다. 비교적 작기 때문에 사실적 지식을 환각하는 데 어려움을 겪고 자세한 지침을 엄격하게 실행하는 데 부족할 수 있습니다. 안전 및 보안 문제를 완화하기 위해 Phi-4 개발팀은 Microsoft의 독립적인 AI Red Team(AIRT)과 협력하여 일반적인 시나리오와 적대적 시나리오에서 Phi-4와 관련된 잠재적 위험을 정확히 파악했습니다.
가용성 및 미래 전망
Phi-4는 이제 Microsoft Research License Agreement(MSRLA)에 따라 Azure AI Foundry를 통해 액세스할 수 있습니다 . 또한 Microsoft는 다음 주에 Hugging Face에서 Phi-4를 출시하여 이 최첨단 모델에 대한 액세스를 확대할 계획입니다.
답글 남기기