NVIDIA 96GB RTX PRO 6000 übertrifft vier RTX 5090 bei einem 230 Milliarden KI-Modell mit nur 25 % Stromverbrauch

NVIDIAs RTX Pro 6000 Blackwell beweist, dass eine einzelne GPU herkömmliche Multi-GPU-Konfigurationen übertreffen kann, insbesondere bei der Ausführung komplexer KI-Modelle. Bemerkenswerterweise übertrifft sie die Leistung von vier RTX 5090.

Eine einzelne RTX PRO 6000 Blackwell-GPU führt ein 230-Billionen-KI-Modell mit einem Viertel der Leistung von vier RTX 5090 aus.

Die von Steveibe auf X durchgeführten Untersuchungen belegen die Machbarkeit des Betriebs großer KI-Modelle in Heimnetzwerken. Mithilfe des MiniMax M2.7, einem KI-Inferenzmodell mit 230 Milliarden Parametern, wurden die Tests auf vier NVIDIA-GPU-basierten Konfigurationen mit einer Kontextgröße von 32.000 und einer maximalen Tokenlänge von 4.096 durchgeführt.

MiniMax M2.7 hat 230B-Parameter. Läuft das tatsächlich zu Hause? Ich habe Unsloths UD-IQ3_XXS (80 GB) auf vier verschiedenen Systemen getestet: 🟠 4x RTX 4090 (96 GB): 71, 52 TOK/s, TTFT 1045 ms 🟢 4x RTX 5090 (128 GB): 120, 54 TOK/s, TTFT 725 ms 🟡 1x RTX PRO 6000 (96 GB): 118, 74 TOK/s, TTFT 765 ms 🟣 DGX… pic.twitter.com/yK8bGg6RtX

— stevibe (@stevibe) 18. April 2026

Während der Benchmarks wurde die Quantisierungsmethode IQ3_XXS von GGUF verwendet, die auch mit geringerer VRAM-Kapazität kompatibel ist. Diese spezielle Quantisierung wurde gewählt, da sie die 96 GB VRAM der RTX PRO 6000 GPU optimal ausnutzt. Nachfolgend sind die Leistungsergebnisse der verschiedenen Konfigurationen aufgeführt:

4x RTX 4090 (96 GB): 71, 52 Token/Sekunde, TTFT 1045 ms
4x RTX 5090 (128 GB): 120, 54 Token/Sekunde, TTFT 725 ms
1x RTX PRO 6000 (96 GB): 118, 74 Token/Sekunde, TTFT 765 ms
DGX Spark (128 GB): 24, 41 Token/Sekunde, TTFT 741 ms

Die einzelne NVIDIA RTX PRO 6000 Blackwell GPU erreichte eine bemerkenswerte Geschwindigkeit von 118, 74 Token/Sekunde und kam damit fast an die Leistung von vier RTX 5090 mit 120, 54 Token/Sekunde heran. Das ältere RTX 4090-System mit vier GPUs lieferte mit 71, 52 Token/Sekunde eine deutlich geringere Leistung. Der DGX Spark Mini AI PC mit 128 GB Arbeitsspeicher blieb mit 24, 41 Token/Sekunde dagegen deutlich zurück.

Leistungsvergleichsgrafik mehrerer GPU-Setups hinsichtlich der KI-Token-Generierungsgeschwindigkeit

Während die Token-Generierungsgeschwindigkeit für die RTX PRO 6000 Blackwell und die RTX 5090s spricht, ist es entscheidend, zusätzliche Faktoren wie Stromverbrauch und Kosten zu berücksichtigen.

Vergleich des Stromverbrauchs

Ein deutlicher Unterschied zeigt sich bei der Betrachtung des Stromverbrauchs dieser Konfigurationen:

4x RTX 4090: Maximale Leistungsaufnahme von 1.800 W (450 W pro GPU)
4x RTX 5090: Maximale Leistungsaufnahme von 2.300 W (575 W pro GPU)
1x RTX PRO 6000: Maximale Leistungsaufnahme von nur 600 W
DGX Spark: Gesamtsystemleistung von 240 W

Dies bedeutet, dass die einzelne RTX PRO 6000 nur ein Viertel der Leistung des Vierfach-RTX-5090-Systems und etwa ein Drittel der Leistung der vier RTX 4090 benötigt. Trotz ihrer geringeren Leistungsaufnahme arbeitet die DGX Spark als Komplettsystem effizient.

Preisübersicht

Auch finanziell sprechen die Preise dieser GPUs Bände. Die RTX PRO 6000 Blackwell kostet rund 9.500 US-Dollar, während eine einzelne RTX 5090 etwa 3.500 US-Dollar kostet, was insgesamt 14.000 US-Dollar für vier Karten ergibt. Die DGX Spark ist nach einer Preisanpassung aktuell für 4.699 US-Dollar erhältlich.

Durchschnittlicher Einzelhandelspreis der RTX 4090: 3.000 US-Dollar (pro GPU)
Durchschnittlicher Einzelhandelspreis der RTX 5090: 3.500 US-Dollar (pro GPU)
Durchschnittlicher Einzelhandelspreis der RTX PRO 6000: 9.500 US-Dollar (pro GPU)
Durchschnittlicher Einzelhandelspreis für den DGX Spark AI PC: 4.699 US-Dollar

Mehrere GPUs können zwar die Leistung von KI-Modellen steigern und mehr Speicher nutzen, verursachen aber auch Systemmehraufwand, der die Gesamteffizienz beeinträchtigt. Die RTX PRO 6000 Blackwell mit ihrer 96-GB-Konfiguration hingegen liefert eine überlegene Leistung und bietet somit eine effizientere und kostengünstigere Lösung für anspruchsvolle KI-Workloads.

Quellen & Bilder