NVIDIA a récemment dévoilé son dernier GPU GeForce RTX 5090, qui surpasse considérablement le RX 7900 XTX d’AMD dans les tâches d’inférence sur le modèle DeepSeek R1. Ce bond impressionnant en termes de performances est en grande partie dû aux nouveaux Tensor Cores de cinquième génération intégrés à l’architecture de NVIDIA.
Accès simplifié aux modèles de raisonnement de DeepSeek avec les GPU RTX
À mesure que les GPU grand public évoluent, ils sont devenus des outils puissants pour exécuter des modèles de langage étendus (LLM) avancés sur des systèmes locaux. NVIDIA et AMD font tous deux évoluer leur matériel pour améliorer la convivialité de ces modèles. Récemment, AMD a mis en avant les capacités de son GPU phare RDNA 3 utilisant le LLM DeepSeek R1. En réponse, NVIDIA a présenté les résultats d’analyse comparative de sa dernière série RTX Blackwell, confirmant que la GeForce RTX 5090 a pris un avantage décisif sur ses concurrents.
Les mesures de performances révèlent que la GeForce RTX 5090 peut traiter jusqu’à 200 jetons par seconde avec des modèles comme le Distill Qwen 7b et le Distill Llama 8b. Ce rendement double presque les performances de la RX 7900 XTX d’AMD, soulignant la domination de NVIDIA en matière de performances d’IA. Avec l’introduction de la prise en charge complète de « RTX on AI », nous pouvons nous attendre à ce que les capacités d’IA de pointe deviennent monnaie courante dans les PC grand public.
Accéder à DeepSeek R1 sur les GPU NVIDIA
NVIDIA a facilité l’accès aux passionnés souhaitant exploiter DeepSeek R1 sur leurs GPU RTX. La société a publié un blog détaillé qui guide les utilisateurs tout au long de la configuration, la rendant aussi simple que l’utilisation de n’importe quel chatbot en ligne. Voici un point clé de leur récente annonce :
Pour aider les développeurs à expérimenter ces fonctionnalités en toute sécurité et à créer leurs propres agents spécialisés, le modèle DeepSeek-R1 de 671 milliards de paramètres est désormais disponible sous forme d’aperçu du microservice NVIDIA NIM sur build.nvidia.com. Le microservice DeepSeek-R1 NIM peut fournir jusqu’à 3 872 jetons par seconde sur un seul système NVIDIA HGX H200.
Les développeurs peuvent tester et expérimenter l’interface de programmation d’application (API), qui devrait être bientôt disponible sous la forme d’un microservice NIM téléchargeable, faisant partie de la plate-forme logicielle NVIDIA AI Enterprise.
Le microservice NIM DeepSeek-R1 simplifie les déploiements grâce à la prise en charge des API standard du secteur. Les entreprises peuvent optimiser la sécurité et la confidentialité des données en exécutant le microservice NIM sur leur infrastructure informatique accélérée préférée.
– NVIDIA
Cette approche innovante permet aux développeurs et aux passionnés d’expérimenter des modèles d’IA à l’aide de builds locaux. L’exécution de ces modèles en local améliore non seulement les performances (en fonction des capacités matérielles du système), mais garantit également une plus grande sécurité des données, en préservant les informations sensibles tout au long du processus.
Pour ceux qui souhaitent en savoir plus sur les offres de NVIDIA, consultez plus d’informations via ce lien :
ou visitez la source pour plus de détails et d’images.
Articles connexes:
Pack Intel Core i5 14600K Battlefield 6 à seulement 149 $
11:26
Progrès de la Chine dans le domaine des puces d’IA 5 nm : les entreprises nationales annoncent deux nouvelles solutions pour la formation de modèles et les applications PC d’IA
10:00
Détails de la version 1.4.3 de NWinfo
3:32
Laisser un commentaire