NVIDIA hat kürzlich seine neueste GeForce RTX 5090 GPU vorgestellt, die AMDs RX 7900 XTX bei Inferenzaufgaben auf dem DeepSeek R1-Modell deutlich übertrifft. Dieser beeindruckende Leistungssprung ist größtenteils den neuen Tensor-Cores der fünften Generation zuzuschreiben, die in die NVIDIA-Architektur integriert sind.
Optimierter Zugriff auf DeepSeeks Reasoning-Modelle mit RTX-GPUs
Mit der Weiterentwicklung von GPUs für Verbraucher sind diese zu leistungsstarken Tools für die Ausführung erweiterter Large Language Models (LLMs) auf lokalen Systemen geworden. NVIDIA und AMD entwickeln ihre Hardware weiter, um die Nutzbarkeit dieser Modelle zu verbessern. Kürzlich hat AMD die Fähigkeiten seiner Flaggschiff-GPU RDNA 3 mithilfe des DeepSeek R1 LLM hervorgehoben. Als Reaktion darauf präsentierte NVIDIA Benchmarking-Ergebnisse seiner neuesten RTX Blackwell-Serie und bestätigte damit, dass die GeForce RTX 5090 einen entscheidenden Vorsprung gegenüber der Konkurrenz hat.
Leistungsmetriken zeigen, dass die GeForce RTX 5090 mit Modellen wie Distill Qwen 7b und Distill Llama 8b bis zu 200 Token pro Sekunde verarbeiten kann. Diese Leistung ist fast doppelt so hoch wie die Leistung der AMD RX 7900 XTX und unterstreicht NVIDIAs Dominanz bei der KI-Leistung. Mit der Einführung der umfassenden „RTX on AI“-Unterstützung können wir davon ausgehen, dass Edge-KI-Funktionen in PCs für Verbraucher zum Alltag werden.
Zugriff auf DeepSeek R1 auf NVIDIA-GPUs
NVIDIA hat den Zugang für Enthusiasten erleichtert, die DeepSeek R1 auf ihren RTX-GPUs nutzen möchten. Das Unternehmen hat einen ausführlichen Blog veröffentlicht, der Benutzer durch die Einrichtung führt und sie so einfach macht wie die Bedienung eines Online-Chatbots. Hier ist ein wichtiger Punkt aus ihrer jüngsten Ankündigung:
Damit Entwickler sicher mit diesen Funktionen experimentieren und ihre eigenen spezialisierten Agenten erstellen können, ist das 671-Milliarden-Parameter umfassende DeepSeek-R1-Modell jetzt als NVIDIA NIM-Mikroservice-Vorschau auf build.nvidia.com verfügbar. Der DeepSeek-R1 NIM-Mikroservice kann auf einem einzelnen NVIDIA HGX H200-System bis zu 3.872 Token pro Sekunde bereitstellen.
Entwickler können die Anwendungsprogrammierschnittstelle (API) testen und damit experimentieren. Sie dürfte bald als herunterladbarer NIM-Mikroservice als Teil der NVIDIA AI Enterprise -Softwareplattform verfügbar sein.
Der DeepSeek-R1 NIM-Mikroservice vereinfacht Bereitstellungen durch Unterstützung branchenüblicher APIs. Unternehmen können Sicherheit und Datenschutz maximieren, indem sie den NIM-Mikroservice auf ihrer bevorzugten beschleunigten Computerinfrastruktur ausführen.
– NVIDIA
Dieser innovative Ansatz ermöglicht es Entwicklern und Enthusiasten, mit lokalen Builds mit KI-Modellen zu experimentieren. Die lokale Ausführung dieser Modelle verbessert nicht nur die Leistung – abhängig von den Hardwarefunktionen des Systems –, sondern sorgt auch für mehr Datensicherheit und schützt vertrauliche Informationen während des gesamten Prozesses.
Wer mehr über die Angebote von NVIDIA erfahren möchte, kann sich unter diesem Link näher informieren:
oder besuchen Sie die Quelle für Einzelheiten und Bilder.
Ähnliche Artikel:
Intel bewirbt Arrow Lake-Desktop-CPUs als besseren Wert für Gamer als AMD Ryzen 9000: Vergleich von Core Ultra 7 265K und 9800X3D hinsichtlich der Gaming-Leistung pro Dollar
21:37
DirectX AgilitySDK führt erweiterte Shader-Bereitstellung ein, um Ruckler und Ladezeiten während der Shader-Kompilierung zu reduzieren
20:09
Chinas YMTC steigt in den DRAM-Markt ein, um den regionalen HBM-Mangel durch Inlandsproduktion zu beheben
15:09
Schreibe einen Kommentar