NVIDIA plädiert für ein Umdenken bei den Gesamtbetriebskosten von KI und betont die „Kosten pro Token“ als wichtigste Kennzahl.

Da die Branche der künstlichen Intelligenz (KI) immer weiter fortschreitet, sind traditionelle Kennzahlen zur Bewertung von KI-Infrastrukturen zunehmend überholt. NVIDIA plädiert daher für einen Paradigmenwechsel beim Verständnis der Gesamtbetriebskosten (TCO) von KI und führt die Kennzahl „ Kosten pro Token “ ein.

NVIDIA revolutioniert die Gesamtbetriebskosten von KI mit Kosten pro Token.

Im Kontext von KI haben sich Token als wichtigste Kennzahl etabliert. Anders als frühere Generationen von Rechenzentren, die sich primär auf reine Rechenleistung konzentrierten, werden moderne KI-Infrastrukturen – sogenannte KI-Fabriken – anhand ihrer Token-Produktion bewertet. Der Fokus verschiebt sich nun von der reinen Generierung hoher Token-Mengen hin zu Effizienz und Kosteneffektivität. Daher ist es unerlässlich, die Gesamtbetriebskosten (TCO) von KI-Fabriken neu zu definieren.

NVIDIA betont, dass viele Unternehmen weiterhin auf veraltete Vergleichskennzahlen wie Chip-Spezifikationen und Rechenkosten setzen. Ein Perspektivenwechsel ist unerlässlich.

Rechenkosten : Dies sind die Ausgaben, die Unternehmen für die KI-Infrastruktur aufwenden, unabhängig davon, ob diese von Cloud-Anbietern bezogen oder vor Ort gewartet wird.
FLOPS pro Dollar : Diese Kennzahl gibt an, wie viel Rechenleistung ein Unternehmen für jeden ausgegebenen Dollar erhält; sie bildet jedoch den tatsächlichen Token-Output nicht genau ab.
Kosten pro Token : Diese Kennzahl bietet eine umfassende Kostenanalyse für die Herstellung jedes ausgelieferten Tokens und wird typischerweise als Kosten pro Million Tokens ausgedrückt.

Eine Folie, die eine Formel zur Berechnung der „Kosten pro Million Token“ zeigt, wobei die „Kosten pro GPU pro Stunde“ und die „Token pro GPU pro Sekunde“ mit „60 Sek × 60 Min“ und „1 Million“ multipliziert werden.

In ihrer Analyse erläutert NVIDIA mehrere Faktoren, die zur Senkung der Kosten pro Token beitragen können. Sie stellen eine Formel zur Berechnung der Kosten pro Million Token bereit und heben hervor, dass sich viele KI-Unternehmen primär auf den Zähler – die Kosten pro GPU und Stunde – konzentrieren und dabei den entscheidenden Nenner vernachlässigen, der die Gesamtkosten und den Umsatz maßgeblich beeinflusst.

Minimierung der Tokenkosten : Eine Steigerung der Tokenproduktion kann zu geringeren Kosten pro Token führen und somit die Gewinnmargen bei jeder verarbeiteten Interaktion erhöhen.
Maximierung der Einnahmen : Eine Erhöhung der pro Sekunde gelieferten Token entspricht mehr Token pro Megawatt und trägt somit zu einer höheren Intelligenz für KI-gesteuerte Produkte und Dienstleistungen bei – mit dem Potenzial, die Einnahmen aus bestehenden Infrastrukturinvestitionen zu steigern.

Warum ist das wichtig? Die grundlegende Antwort liegt darin, dass für KI-Unternehmen die Kosten pro Token wichtiger sind als simple Vergleiche wie FLOPS pro Dollar.

Eine Grafik mit dem Titel „Inference Iceberg“ zeigt Chipspezifikationen mit Begriffen wie „FLOPS pro Dollar“ und „Kosten pro Token“ und hebt dabei Rechenleistung, Speicher und Software-Design hervor.

NVIDIA vergleicht die Leistungs- und Kostenkennzahlen seiner Hopper- und Blackwell-GPUs und zeigt, dass Hopper-GPUs zwar deutlich günstiger im Betrieb sind – etwa halb so teuer –, das FLOPS-Verhältnis jedoch einen ähnlich geringen Unterschied aufweist. Dies allein verdeutlicht jedoch nicht die erheblichen Vorteile der Blackwell-Architektur.

Die wirklichen Unterschiede zeigen sich beim Token-Durchsatz und den Kosten pro Million Token. In diesen Bereichen übertrifft Blackwell Hopper um das bis zu 65-Fache, wobei die Kosten pro Million Token um erstaunliche 35 Mal niedriger sind. Diese Angaben basieren auf dem InferenceX v2 Benchmark von SemiAnalysis.

Metrisch	NVIDIA Hopper (HGX H200)	NVIDIA Blackwell (GB300 NVL72)	NVIDIA Blackwell im Vergleich zu Hopper
Kosten pro GPU pro Stunde ($)	1, 41 $	2, 65 $	2x
FLOP pro Dollar (PFLOPS)	2.8	5.6	2x
Token pro Sekunde pro GPU	90	6.000	65x
Token pro Sekunde pro MW	54K	2, 8 Mio.	50x
Kosten pro Million Token ($)	4, 20 €	0, 12 $	35x niedriger

Man könnte diese Zahlen zwar als bloße „CEO-Mathematik“ von NVIDIA abtun, doch ihre Bedeutung beruht auf einer soliden Logik. NVIDIA verfügt über ein leistungsstarkes Portfolio an KI-Softwarelösungen und erzielt in Benchmark-Tests konstant hervorragende Ergebnisse, während die Konkurrenz weit zurückbleibt.

Der CEO von NVIDIA hat auch andere Unternehmen dazu aufgefordert, ihre Chips auf die Probe zu stellen und Beweise für eine überlegene Leistung im Vergleich zu den Angeboten von NVIDIA vorzulegen.

„Niemand kann mir derzeit beweisen, dass irgendeine Plattform weltweit ein besseres TCO-Verhältnis (Gesamtbetriebskosten) aufweist. Kein einziges Unternehmen … Ich fordere sie auf, Inference Max zu verwenden und ihre unglaublichen Inferenzkosten zu demonstrieren. Es ist wirklich extrem schwierig … aber niemand will sich der Herausforderung stellen.“

Jensen Huang – CEO von NVIDIA

Indem NVIDIA die Kennzahlen, die die KI-Leistung bestimmen, neu definiert, beansprucht das Unternehmen nicht nur einen Benchmark-Sieg, sondern auch eine zentrale Rolle bei der Festlegung der Kennzahlen, die für KI-Unternehmen am wichtigsten sind.

Quellen & Bilder