AMD Ryzen AI MAX+ 处理器为消费级显卡释放 96 GB 内存,支持在 PC 上本地执行 128B 参数 LLM

AMD Ryzen AI MAX+ 处理器为消费级显卡释放 96 GB 内存,支持在 PC 上本地执行 128B 参数 LLM

AMD 通过最新的驱动程序更新显著提升了个人电脑的边缘 AI 功能,为用户提供了对大型语言模型 (LLM) 的支持。

AMD Strix Halo 平台助力消费者 AI 创新

作为行业翘楚,AMD 通过其创新的 XDNA 引擎,在将高性能 AI 计算集成到消费级系统方面取得了显著进展。该公司的加速处理器 (APU),尤其是 Strix Point 和 Strix Halo 系列,展现出卓越的 AI 性能。最新发布的 Adrenalin Edition 25.8.1 驱动程序引入了对 LLM 模型的支持,这些模型的参数数量高达 1280 亿个,为消费级设备利用先进的 AI 模型(包括 Meta 的尖端 Llama 4 Scout)铺平了道路。

AMD Ryzen AI:领先的 Windows LLM 支持、4 位到 16 位量化、轻薄部署

AMD 技术的一大亮点是其可变显存 (VGM),它允许消费者为集成 GPU (iGPU) 分配高达 96 GB 的显存。此功能支持在本地执行大规模 AI 模型。例如,Llama 模型采用混合专家 (MoE) 设计,运行时仅使用 170 亿个参数。因此,用户可以实现令人印象深刻的每秒事务数 (TPS),使 LLM 能够高效地充当复杂的 AI 助手。

AMD AI Max+ 运行最多 128B 参数;每个模型的内存使用情况比较图。

AMD 的进步不仅仅局限于纯粹的计算能力;他们在上下文大小方面也取得了显著的改进。传统消费级处理器支持的上下文长度约为 4096 个令牌。然而,AMD 实现了令人印象深刻的 256, 000 个令牌的上下文长度,极大地增强了用户对工作流程的控制,并始终确保了强大的性能。这些进步表明了个人电脑中“人工智能计算”技术的蓬勃发展,标志着行业的显著转变。

目前,Strix Halo 平台仅在少数设备上可用,对于许多消费者来说,获取它仍然是一个挑战,部分系统售价超过 2, 000 美元。尽管成本较高,但 AMD 致力于普及 AI 能力的决心显而易见,即便购买这些尖端设备需要大量的资金投入。

来源和图片

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注