NVIDIA 近期发布了最新的 GeForce RTX 5090 GPU，在 DeepSeek R1 模型的推理任务中，其性能显著优于 AMD 的 RX 7900 XTX。这一令人印象深刻的性能飞跃很大程度上归功于 NVIDIA 架构中集成的全新第五代 Tensor Core。
使用 RTX GPU 简化对 DeepSeek 推理模型的访问
随着消费级 GPU 的发展，它们已成为在本地系统上运行高级大型语言模型 (LLM) 的强大工具。NVIDIA 和 AMD 都在改进硬件以增强这些模型的可用性。最近，AMD 使用 DeepSeek R1 LLM 强调了其 RDNA 3 旗舰 GPU 的功能。作为回应，NVIDIA 展示了其最新 RTX Blackwell 系列的基准测试结果，证实 GeForce RTX 5090 已在竞争中占据决定性优势。
性能指标显示，GeForce RTX 5090 每秒最多可处理 200 个 token，例如 Distill Qwen 7b 和 Distill Llama 8b 等模型。这一输出几乎是 AMD RX 7900 XTX 性能的两倍，凸显了 NVIDIA 在 AI 性能方面的主导地位。随着全面推出“RTX on AI”支持，我们可以预期边缘 AI 功能将在消费级 PC 中变得司空见惯。
在 NVIDIA GPU 上访问 DeepSeek R1
NVIDIA 为希望在 RTX GPU 上使用 DeepSeek R1 的爱好者提供了便利。该公司发布了一篇详细的博客，指导用户完成设置，使其像操作任何在线聊天机器人一样简单。以下是他们最近发布的公告中的关键内容：
为了帮助开发人员安全地试验这些功能并构建自己的专用代理，6710 亿参数的 DeepSeek-R1 模型现已作为 NVIDIA NIM 微服务预览版在build.nvidia.com上提供。DeepSeek-R1 NIM 微服务可以在单个 NVIDIA HGX H200 系统上每秒提供多达 3, 872 个令牌。
开发人员可以使用应用程序编程接口 (API) 进行测试和试验，该接口预计很快将作为可下载的 NIM 微服务提供，是NVIDIA AI Enterprise软件平台的一部分。
DeepSeek-R1 NIM 微服务通过支持行业标准 API 简化了部署。企业可以通过在其首选的加速计算基础设施上运行 NIM 微服务来最大限度地提高安全性和数据隐私。
– NVIDIA
这种创新方法使开发人员和爱好者能够使用本地版本试验 AI 模型。在本地运行这些模型不仅可以提高性能（取决于系统的硬件功能），还可以确保更高的数据安全性，在整个过程中保护敏感信息。
对于那些有兴趣进一步了解 NVIDIA 产品的人，请通过此链接查看更多信息：
或访问来源以获取详细信息和图像。
发表回复