高通推出采用LPDDR移动内存的创新型AI机架规模解决方案，旨在挑战NVIDIA和AMD

高通发布了其下一代AI芯片，该芯片经过精心设计，旨在提供机架级AI推理解决方案。这些芯片的突出之处在于其对移动内存的利用。

大胆转变：高通的 AI 芯片放弃 HBM，实现高效推理

高通一直以来都是移动技术领域的领军企业，近年来其产品组合显著多元化，进军消费计算和人工智能基础设施领域。该公司近期推出了专为机架级应用打造的AI200 和 AI250 芯片解决方案。这标志着高通进入了通常由 NVIDIA 和 AMD 等行业巨头主导的竞争领域，意义非凡。高通的独特方案利用了与移动设备密切相关的 LPDDR 内存来提升这些芯片的性能。

要理解使用 LPDDR 内存的重要性，必须将其与更常用的高带宽内存 (HBM) 进行对比。AI200 和 AI250 芯片可将 LPDDR 内存容量提升至 768 GB，这超过了 HBM 系统提供的典型带宽。这种策略降低了数据传输能耗和成本，实现了高通所谓的“近内存”架构。相比 HBM，采用 LPDDR 的主要优势在于：

功率效率：降低每比特的能耗。
成本效益：与先进的 HBM 替代品相比更实惠。
增加内存密度：非常适合推理应用。
热效率：与 HBM 解决方案相比，热量输出减少。

尽管高通的机架级芯片拥有这些令人期待的功能，但与 NVIDIA 和 AMD 的成熟产品相比，它们确实存在局限性。由于接口较窄，缺少 HBM 会导致内存带宽降低，延迟增加。此外，LPDDR 内存在高温、全天候运行的服务器环境中可能无法达到最佳性能。高通的主要目标似乎是为 AI 推理提供一种可行的方案，尽管这种侧重点限制了其在特定应用中的使用。

此外，AI200 和 AI250 芯片配备直接液冷技术，支持 PCIe/以太网协议，并保持 160 kW 的较低机架级功耗。值得注意的是，这些芯片集成了高通的 Hexagon NPU，其推理能力一直在稳步增强，包括支持高级数据格式和推理优化功能。

人工智能硬件市场的竞争日益激烈，英特尔等巨头纷纷推出“Crescent Island”解决方案，NVIDIA 也推出了 Rubin CPX 人工智能芯片。高通也意识到推理领域日益增长的重要性，因此推出 AI200 和 AI250 解决方案是一项战略举措。然而，对于涉及大量训练或大规模工作负载的任务，这些产品可能并非最佳选择。

人工智能领域日益激烈的竞争令人兴奋，零售商对高通公告的初步反应非常积极。

来源和图片