高通推出採用LPDDR行動記憶體的創新AI機架規模解決方案，旨在挑戰NVIDIA和AMD

高通發布了其下一代AI晶片，該晶片經過精心設計，旨在提供機架級AI推理解決方案。這些晶片的突出之處在於其對行動記憶體的利用。

大膽轉變：高通的 AI 晶片放棄 HBM，實現高效推理

高通一直以來都是行動技術領域的領導企業，近年來其產品組合顯著多元化，進軍消費運算和人工智慧基礎設施領域。該公司近期推出了專為機架級應用打造的AI200 和 AI250 晶片解決方案。這標誌著高通進入了通常由 NVIDIA 和 AMD 等行業巨頭主導的競爭領域，意義非凡。高通的獨特方案利用了與行動裝置密切相關的 LPDDR 記憶體來提升這些晶片的效能。

要理解使用 LPDDR 記憶體的重要性，必須將其與更常用的高頻寬記憶體 (HBM) 進行比較。 AI200 和 AI250 晶片可將 LPDDR 記憶體容量提升至 768 GB，這超過了 HBM 系統提供的典型頻寬。這種策略降低了資料傳輸能耗和成本，實現了高通所謂的「近記憶體」架構。相較於 HBM，採用 LPDDR 的主要優點在於：

功率效率：降低每位元的能耗。
成本效益：與先進的 HBM 替代品相比更實惠。
增加記憶體密度：非常適合推理應用。
熱效率：與 HBM 解決方案相比，熱量輸出減少。

儘管高通的機架級晶片擁有這些令人期待的功能，但與 NVIDIA 和 AMD 的成熟產品相比，它們確實存在局限性。由於介面較窄，缺乏 HBM 會導致記憶體頻寬降低，延遲增加。此外，LPDDR 內存在高溫、全天候運作的伺服器環境中可能無法達到最佳效能。高通的主要目標似乎是為 AI 推理提供一種可行的方案，儘管這種重點限制了其在特定應用中的使用。

此外，AI200 和 AI250 晶片配備直接液冷技術，支援 PCIe/乙太網路協議，並保持 160 kW 的較低機架級功耗。值得注意的是，這些晶片整合了高通的 Hexagon NPU，其推理能力一直在穩步增強，包括支援高級資料格式和推理最佳化功能。

人工智慧硬體市場的競爭日益激烈，英特爾等巨擘紛紛推出「Crescent Island」解決方案，NVIDIA 也推出了 Rubin CPX 人工智慧晶片。高通也意識到推理領域日益增長的重要性，因此推出 AI200 和 AI250 解決方案是一項策略性舉措。然而，對於涉及大量訓練或大規模工作負載的任務，這些產品可能並非最佳選擇。

人工智慧領域日益激烈的競爭令人興奮，零售商對高通公告的初步反應非常積極。

來源和圖片