DeepSeek V4 reduziert die KV-Cache-Nutzung um 90 % bei 1 Million Tokens, allerdings kann die aggressive Komprimierung zu Problemen wie der Suche nach der Nadel im Heuhaufen führen.

DeepSeek, ein führendes chinesisches KI-Labor, hat sein neuestes Modell V4 vorgestellt, das einen deutlich geringeren Bedarf an Rechenressourcen für die Token-Inferenz aufweist. Laut den Release Notes benötigt das neue Modell nur 27 % der FLOPs für die Einzel-Token-Inferenz und lediglich 10 % des Key-Value-Caches (KV-Cache) des Vorgängermodells DeepSeek V3.2. Diese innovative Entwicklung reduziert nicht nur den Speicherverbrauch, sondern erweitert auch die für Entwickler beim Erstellen ihrer Modelle verfügbaren Kontextkapazitäten erheblich.

DeepSeek V4: Verbesserte Leistung und Cache-Effizienz

Im V4-Modell demonstriert DeepSeek seine Leistungsfähigkeit, indem es mit lediglich 27 % der FLOPs für die Einzel-Token-Inferenz und nur 10 % des KV-Caches auskommt und dabei ein Kontextfenster von einer Million Token verarbeitet. Das Kontextfenster repräsentiert die Textmenge, die ein großes Sprachmodell verarbeitet, bevor es Speicherressourcen freigeben muss.

Diese optimierte Speichernutzung ist besonders während der Dekodierungsphase der KI-Berechnung entscheidend, die typischerweise in zwei Phasen unterteilt ist: Vorbefüllung und Dekodierung. In der Dekodierungsphase generiert die KI Ausgaben und behält dabei gleichzeitig den in der Vorbefüllungsphase etablierten Gesprächskontext bei. Folglich benötigt die Dekodierungsphase mehr Speicher, insbesondere im KV-Cache.

Ein Flussdiagramm, das den Prozess des Transformer-Modells mit beschrifteten Elementen wie „Cache-Entfernungen“, „Cache-Treffer“ und „Cache-Fehler“ veranschaulicht. — Ein NVIDIA-Diagramm zur Veranschaulichung der KV-Cache-Funktionsweise. Abbildung: Optimierung der Inferenz für lange Kontexte und große Batchgrößen mit NVFP4 KV-Cache.

Aufbauend auf früheren Innovationen: Erweiterte Funktionen der DeepSeek-Modelle

Mit zunehmender Kontextlänge steigt auch der Bedarf an KV-Cache. Ab einer Million Token kann ein Modell, das die Cache-Nutzung minimiert, mehr Anfragen verarbeiten und benötigt dabei insgesamt weniger Speicher. Die Behauptung von DeepSeek, das V4-Modell erreiche 27 % der FLOPs für einzelne Inferenz-Token, setzt jedoch voraus, dass ausreichend GPU-Speicher für die Berechnungen zur Verfügung steht.

Darüber hinaus erfordert der signifikante Rückgang des Cache-Speichers Kompromisse; dies kann zu sogenannten „Nadel-im-Heuhaufen“-Fehlern führen, bei denen das Modell wesentliche Details übersieht und somit ungenauere Ergebnisse liefert. Diese Herausforderung unterstreicht die Bedeutung eines ausgewogenen Verhältnisses zwischen Speichereffizienz und dem Bedarf an hochpräzisen Ergebnissen.

Die neuesten Verbesserungen des DeepSeek-Modells V4 basieren auf der in früheren Versionen eingeführten Multi-Head Latent Attention-Architektur. Dieses Design begegnet Speicherbeschränkungen strategisch, indem es Schlüssel und Wert des Modells in einer einheitlichen Struktur komprimiert und diese anschließend während der Berechnung wieder erweitert, wodurch eine effiziente Ressourcennutzung ermöglicht wird.

Quellen & Bilder