微軟在 Windows 11 推出創新的 Mu 語言模型
去年，微軟在其Copilot+ 電腦上推出了一項令人興奮的突破性功能，配備了專用的神經處理單元 (NPU)。該 NPU 每秒可執行超過 40 兆次運算 (TOPS)，顯著提升了裝置的運算能力。伴隨這項創新的是一項名為Phi-Silica的專有技術，它可用作裝置上的響應式語言模型 (SLM)。該系統不僅增強了微軟的第一方應用程序，還將功能擴展到各種第三方應用程式。
Mu 模型簡介
最近，微軟進一步推進了其 AI 雄心，推出了Mu，這是一款整合在 Windows 11 中的緊湊型設備內建語言模型。 Mu 旨在賦能「設定」應用程式中的 AI 驅動代理，並理解使用者以自然語言表達的查詢。這項創新與現有的搜尋框無縫集成，簡化了用戶互動。目前，擁有 Copilot+ 電腦的 Dev 頻道 Windows Insider 用戶可以體驗這項新功能。
Mu 語言模型的效能特點
與之前討論過的 Phi-Silica 非常相似，Mu 經過最佳化，可以在 NPU 上有效運行，在本地運行時擁有每秒超過 100 個代幣的卓越處理速度。根據微軟的官方聲明，以下是 Mu 語言模型的一些主要特徵：
- Mu 被歸類為具有 3.3 億個參數的編碼器-解碼器語言模型。
- 與類似規格的僅解碼器模型相比，此編碼器-解碼器框架可將第一個令牌延遲縮短約 47%，解碼速度提高 4.7 倍。
- 為了優化效率，Mu 在多個元件之間實現了權重共享，從而降低了總參數數量。
- Mu 的訓練是使用Azure 機器學習中的NVIDIA A100 GPU執行的，以確保高效能結果。
- 值得注意的是，儘管 Mu 的尺寸只有經過精細調整的 Phi-3.5-mini 模型的十分之一，但其性能水平卻可與經過精細調整的 Phi-3.5-mini 模型相媲美。
- 此模型對於處理多詞查詢特別有效，而「設定」應用程式中的搜尋功能會繼續為較短或不完整的輸入提供詞彙和語意結果。
如何體驗新的AI代理
有興趣探索這個先進的人工智慧代理的熱心用戶可以下載Windows 11 Build 26120.3964（KB5058496）或任何後續版本來存取 Windows 設定應用中的創新功能。
發佈留言