Microsoft, Windows 11용 온디바이스 소규모 언어 모델인 Mu 출시

Microsoft, Windows 11에서 혁신적인 Mu 언어 모델 공개

흥미로운 점은 작년에 마이크로소프트가 Copilot+ PC 에 전용 신경망 처리 장치(NPU)를 탑재한 획기적인 기능을 도입했다는 것 입니다.이 NPU는 초당 40조 회(TOPS) 이상의 연산을 수행할 수 있어 기기의 연산 능력을 크게 향상시킵니다.이러한 혁신과 함께, Phi-Silica 라는 독점 기술이 탑재되어 기기 내 반응형 언어 모델(SLM) 역할을 합니다.이 시스템은 마이크로소프트의 자체 애플리케이션 기능을 향상시킬 뿐만 아니라 다양한 서드파티 애플리케이션으로의 기능 확장도 지원합니다.

Mu 모델 소개

최근 마이크로소프트는 Windows 11에 통합된 소형 온디바이스 언어 모델인 Mu를 공개하며 AI에 대한 야망을 더욱 강화했습니다.설정 앱 내에서 AI 기반 에이전트를 지원하도록 설계된 Mu는 자연어로 표현된 사용자 질문을 이해하는 것을 목표로 합니다.이 혁신적인 기능은 기존 검색창과 완벽하게 통합되어 사용자 상호 작용을 간소화합니다.현재 Copilot+ PC를 소유한 개발자 채널의 Windows 참가자 프로그램은 이 새로운 기능을 이용할 수 있습니다.

Mu 언어 모델의 성능 특징

앞서 논의된 Phi-Silica와 마찬가지로 Mu는 NPU에서 효과적으로 작동하도록 최적화되어 있으며, 로컬 환경에서 초당 100개 토큰을 초과하는 놀라운 처리 속도를 자랑합니다. Microsoft의 공식 발표에 따르면 Mu 언어 모델의 주요 특징은 다음과 같습니다.

Mu는 3억 3천만 개의 매개변수를 가진 인코더-디코더 언어 모델로 분류됩니다.
이 인코더-디코더 프레임워크는 비슷한 사양의 디코더 전용 모델과 비교했을 때 약 47% 감소된 첫 번째 토큰 지연 시간과 4.7배 더 빠른 디코딩 속도를 제공합니다.
효율성을 최적화하기 위해 Mu는 여러 구성 요소 간에 가중치를 공유하여 전체 매개변수 수를 줄입니다.
Mu의 훈련은 Azure Machine Learning의 NVIDIA A100 GPU를 사용하여 실행되었으며, 이를 통해 고성능 결과가 보장되었습니다.
주목할 점은 Mu가 약 10분의 1 크기에도 불구하고 미세하게 조정된 Phi-3.5-mini 모델과 비슷한 수준의 성능을 보인다는 것입니다.
이 모델은 여러 단어로 구성된 쿼리를 처리하는 데 특히 효과적인 반면, 설정 앱의 검색 기능은 짧거나 불완전한 입력에 대해서도 어휘적, 의미적 결과를 제공합니다.