MLPerf v5.1 AI Inference Benchmark-Vergleich: Spotlight auf NVIDIA Blackwell Ultra GB300 und AMD Instinct MI355X

MLPerf v5.1 AI Inference Benchmark-Vergleich: Spotlight auf NVIDIA Blackwell Ultra GB300 und AMD Instinct MI355X

Die neuesten MLPerf v5.1 KI-Inferenz-Benchmarks haben das Debüt bahnbrechender Chips von NVIDIA und AMD erlebt: den Blackwell Ultra GB300 und den Instinct MI355X. Diese leistungsstarken Prozessoren sorgen in der Tech-Community aufgrund ihrer herausragenden Leistungskennzahlen für großes Aufsehen.

NVIDIA Blackwell Ultra GB300 und AMD Instinct MI355X: Ein neuer Maßstab in Sachen KI-Leistung

MLCommons hat kürzlich seine neueste Bewertung der KI-Leistung anhand der MLPerf v5.1- Benchmarks veröffentlicht und dabei bemerkenswerte Ergebnisse, insbesondere von NVIDIA und AMD, präsentiert. Der Blackwell Ultra GB300 und der Instinct MI355X zeichnen sich als führende KI-Technologie ihrer jeweiligen Hersteller aus. In dieser Analyse werden wir ihre durch die Benchmarks demonstrierten Fähigkeiten genauer unter die Lupe nehmen.

Leistungshighlights des Blackwell Ultra GB300

In der Kategorie DeepSeek R1 (Offline) übertrifft NVIDIAs GB300 seinen Vorgänger, den GB200, und erreicht eine Leistungssteigerung von 45 % in 72-GPU-Konfigurationen und 44 % in einer 8-GPU-Konfiguration. Diese Verbesserungen entsprechen weitgehend den von NVIDIA prognostizierten Leistungssteigerungen.

In der Kategorie DeepSeek R1 (Server) hat Blackwell mit einer Leistungssteigerung von 25 % bei 72 GPUs und einer Steigerung von 21 % bei Konfigurationen mit 8 GPUs bemerkenswerte Fortschritte gemacht.

AMDs Instinct MI355X betritt die Arena

Auch der AMD Instinct MI355X konnte insbesondere im Llama 3.1 405B (Offline) Benchmark deutliche Fortschritte erzielen. Ein Vergleich mit dem GB200 ergab eine bemerkenswerte Leistungssteigerung von 27 % und verdeutlicht damit AMDs Fortschritte im KI-Bereich.

Darüber hinaus zeigte der MI355X in einem Benchmark mit Llama 2 70B (Offline) einen beeindruckenden Durchsatz und generierte mit einer 64-Chip-Konfiguration bis zu 648.248 Token pro Sekunde und eine bemerkenswerte Leistungssteigerung von 2, 09x gegenüber dem NVIDIA GB200 in einem 8-Chip-Setup.

NVIDIA hat eine detaillierte Analyse seiner Benchmarks veröffentlicht, einschließlich der verschiedenen Rekorde, die mit der Blackwell Ultra GB300-Plattform erzielt wurden. Diese Ergebnisse zeigen einen deutlichen Fortschritt bei den KI-Inferenzfähigkeiten.

Blackwell stellt mit Llama 3.1 405B einen interaktiven Rekord auf. Schlagzeile mit NVIDIA-Logo im Kontext des Leistungsdiagramms.
Bildquelle: NVIDIA

Umfassende Datensatztabelle

MLPerf-Inferenz pro Beschleunigerdatensatz
Benchmark Offline Server Interaktiv
DeepSeek-R1 5.842 Token/Sekunde/GPU 2.907 Token/Sekunde/GPU **
Flamme 3.1 405B 224 Token/Sekunde/GPU 170 Token/Sekunde/GPU 138 Token/Sekunde/GPU
Anruf 2 70B 99, 9 % 12.934 Token/Sekunde/GPU 12.701 Token/Sekunde/GPU 7.856 Token/Sekunde/GPU
Anruf 2 70B 99% 13.015 Token/Sekunde/GPU 12.701 Token/Sekunde/GPU 7.856 Token/Sekunde/GPU
Lama 3.1 8B 18.370 Token/Sekunde/GPU 16.099 Token/Sekunde/GPU 15.284 Token/Sekunde/GPU
Stabile Diffusion XL 4, 07 Samples/Sekunde/GPU 3, 59 Abfragen/Sekunde/GPU **
Mixtral 8x7B 16.099 Token/Sekunde/GPU 16.131 Token/Sekunde/GPU **
DLRMv2 99 % 87.228 Samples/Sekunde/GPU 80.515 Samples/Sekunde/GPU **
DLRMv2 99, 9 % 48.666 Samples/Sekunde/GPU 46.259 Abfragen/Sekunde/GPU **
Flüstern 5.667 Token/Sekunde/GPU ** **
R-GAT 81.404 Samples/Sekunde/GPU ** **
Retinanet 1.875 Samples/Sekunde/GPU 1.801 Abfragen/Sekunde/GPU **

Darüber hinaus hat NVIDIAs Blackwell Ultra bei MLPerf neue Benchmarks im Bereich Reasoning gesetzt und die vorherige Hopper-Architektur im Offline-Modus um das 4, 7-Fache und in Serverkonfigurationen um das 5, 2-Fache übertroffen, was auf einen erheblichen Effizienzsprung hindeutet.

DeepSeek-R1-Leistungsvergleich
Architektur Offline Server
Trichter 1.253 Token/Sekunde/GPU 556 Token/Sekunde/GPU
Blackwell Ultra 5.842 Token/Sekunde/GPU 2.907 Token/Sekunde/GPU
Blackwell Ultra Advantage 4, 7-fach 5, 2-fach

Wir freuen uns auf zukünftige MLPerf-Einreichungen und gehen davon aus, dass NVIDIA, AMD und Intel ihre Plattformen weiter verbessern und in diesem wettbewerbsintensiven Umfeld nach noch höheren Leistungsniveaus streben werden.

Quelle & Bilder

Ähnliche Artikel:

Vorstellung des iPhone 17: Verbessertes Display mit ProMotion, 3.000 Nits Helligkeit und 8 Stunden zusätzliche Videowiedergabe im Vergleich zum iPhone 16
Fast 50 % der meistverkauften PlayStation-Spiele in den USA stammen aus der Call of Duty-Reihe

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert