Microsoft, 언어 모델의 혁신, Phi-4-Reasoning 공개
인공지능 분야에서 흥미로운 발전이 이루어지고 있는 가운데, 마이크로소프트는 복잡한 추론 작업을 놀라운 효율성으로 처리하도록 설계된 140억 개의 매개변수를 가진 모델인 Phi-4-reasoning을 선보였습니다.이 혁신적인 모델은 o3-mini의 도움을 받아 특별히 선별된 “학습 가능한” 프롬프트 세트에 대한 지도 학습 미세 조정을 통해 개발되었으며, 이를 통해 고품질의 관련성 높은 학습 데이터를 보장합니다.
이와 함께 회사는 14B 매개변수 디자인을 유지할 뿐만 아니라 더 긴 추론 추적을 생성하여 추론 기능을 강화하고, 향상된 성능 벤치마크를 제공하는 변형인 Phi-4-reasoning-plus 도 출시했습니다.
성과 지표: 경쟁 우위
Microsoft의 최근 백서에 자세히 설명된 결과에 따르면, Phi-4 추론 모델은 잘 알려진 DeepSeek-R1-Distill-Llama-70B를 포함한 여러 대형 모델보다 우수한 성능을 보였습니다.놀랍게도, 이 모델들은 특정 벤치마크에서 DeepSeek-R1 모델 의 모든 성능과 동일한 성능을 보였습니다.또한, GPQA 및 캘린더 계획(Calendar Planning)을 제외하고는 거의 모든 작업에서 Anthropic의 Claude 3.7 Sonnet 과 Google의 Gemini 2 Flash Thinking 보다 우수한 성능을 보였습니다.
모델 개발 및 제한 사항에 대한 통찰력
Phi-4 추론 모델의 유망한 성능은 지도 학습 미세 조정(SFT)을 위한 세심한 데이터 큐레이션이 추론 언어 모델의 성능을 크게 향상시킬 수 있다는 생각을 뒷받침합니다.더 나아가, 강화 학습 기법을 구현하여 성능을 향상시킬 수 있는 잠재력도 있습니다.
하지만 Phi-4 추론 모델에는 몇 가지 제약이 있습니다.기본적으로 영어 텍스트에 맞춰져 있으며, 주로 표준 코딩 라이브러리를 활용하여 Python으로 학습되었습니다.또한, 32, 000개의 토큰으로 제한된 컨텍스트 길이로 작동합니다.기능과 제약 조건에 대한 자세한 내용은 백서를 참조 하십시오.
Phi SLM 제품군에 추론 모델을 추가하는 Phi-4-reasoning을 소개합니다.이 모델은 지도 학습 미세 조정(엄선된 추론 데모 데이터셋 사용)과 강화 학습을 모두 사용하여 학습됩니다.📌 추론 벤치마크에서 경쟁력 있는 결과… pic.twitter.com/p2FkjD4qfu
AI 개발에 대한 의미
Microsoft는 Phi-4 추론 모델을 언어 모델 연구 발전에 핵심적인 도구로 활용하고자 합니다.이러한 모델은 메모리 또는 연산 리소스가 제한적인 환경, 높은 지연 시간이 요구되는 시나리오, 그리고 집중적인 추론을 요구하는 작업에 특히 유용할 것으로 예상됩니다.
더 많은 정보와 통찰력을 얻으려면 원본 출처인 출처 및 이미지를 방문하세요.
답글 남기기