MLPerf v5.1 AI 推理基准测试对比：聚焦 NVIDIA Blackwell Ultra GB300 与 AMD Instinct MI355X

最新的 MLPerf v5.1 AI 推理基准测试见证了 NVIDIA 和 AMD 突破性芯片的首次亮相：Blackwell Ultra GB300 和 Instinct MI355X。这些强大的处理器凭借其出色的性能指标在科技界引起了广泛关注。

NVIDIA Blackwell Ultra GB300 和 AMD Instinct MI355X：AI 性能的新标杆

MLCommons 近期发布了其通过MLPerf v5.1基准测试对 AI 性能的最新评估，其中不乏令人瞩目的佳作，尤其以 NVIDIA 和 AMD 的产品最为突出。Blackwell Ultra GB300 和 Instinct MI355X 分别作为各自制造商在 AI 技术方面的佼佼者脱颖而出。在本篇分析中，我们将仔细分析它们在基准测试中展现出的性能。

Blackwell Ultra GB300 性能亮点

在 DeepSeek R1（离线）测试中，NVIDIA GB300 的表现超越了其前代产品 GB200，在 72 GPU 配置下性能提升了 45%，在 8 GPU 配置下性能提升了 44%。这些改进与 NVIDIA 预期的性能提升高度一致。

在 DeepSeek R1（服务器）类别中，Blackwell 取得了显著进步，72 个 GPU 的性能提高了 25%，8 个 GPU 的配置的性能提高了 21%。

AMD Instinct MI355X 亮相

AMD Instinct MI355X 也做出了显著贡献，尤其是在 Llama 3.1 405B（离线）基准测试中。与 GB200 的对比评估显示，性能提升显著，高达 27%，彰显了 AMD 在 AI 领域的进步。

此外，在涉及 Llama 2 70B（离线）的基准测试中，MI355X 展示了令人印象深刻的吞吐量，在 64 芯片配置下每秒可生成高达 648, 248 个令牌，在 8 芯片设置下比 NVIDIA GB200 的性能提高了 2.09 倍。

NVIDIA 分享了其基准测试的详细分析，包括通过 Blackwell Ultra GB300 平台创下的多项纪录。这些结果展现了 AI 推理能力的显著提升。

Blackwell 在性能图表中设置了带有 NVIDIA 徽标的 Llama 3.1 405B 交互式记录标题。 — 图片来源：NVIDIA

综合记录表

MLPerf 推理每个加速器记录
基准	离线	服务器	交互的
DeepSeek-R1	5, 842 个令牌/秒/GPU	2, 907 个令牌/秒/GPU	**
火焰 3.1 405B	224 个令牌/秒/GPU	170 个代币/秒/GPU	138 个令牌/秒/GPU
拨打 2 70B 99.9%	12, 934 个令牌/秒/GPU	12, 701 个令牌/秒/GPU	7, 856 个令牌/秒/GPU
拨打 2 70B 99%	13, 015 个令牌/秒/GPU	12, 701 个令牌/秒/GPU	7, 856 个令牌/秒/GPU
骆驼 3.1 8B	18, 370 个代币/秒/GPU	16, 099 个代币/秒/GPU	15, 284 个令牌/秒/GPU
稳定扩散 XL	4.07 个样本/秒/GPU	3.59 个查询/秒/GPU	**
Mixtral 8x7B	16, 099 个代币/秒/GPU	16, 131 个令牌/秒/GPU	**
DLRMv2 99%	87, 228 个样本/秒/GPU	80, 515 个样本/秒/GPU	**
DLRMv2 99.9%	48, 666 个样本/秒/GPU	46, 259 次查询/秒/GPU	**
耳语	5, 667 个令牌/秒/GPU	**	**
R-GAT	81, 404 个样本/秒/GPU	**	**
视网膜网	1, 875 个样本/秒/GPU	1, 801 个查询/秒/GPU	**

此外，NVIDIA 的 Blackwell Ultra 在 MLPerf 上建立了新的推理基准，其性能在离线模式下比上一代 Hopper 架构高出 4.7 倍，在服务器配置下比上一代 Hopper 架构高出 5.2 倍，性能实现了大幅飞跃。

DeepSeek-R1性能对比
建筑学	离线	服务器
料斗	1, 253 个令牌/秒/GPU	556 个令牌/秒/GPU
布莱克韦尔超级	5, 842 个令牌/秒/GPU	2, 907 个令牌/秒/GPU
Blackwell Ultra Advantage	4.7倍	5.2倍