NVIDIA ha recentemente presentato la sua ultima GPU GeForce RTX 5090, che supera notevolmente la RX 7900 XTX di AMD nelle attività di inferenza sul modello DeepSeek R1. Questo impressionante balzo in avanti nelle prestazioni è in gran parte attribuito ai nuovi Tensor Core di quinta generazione integrati nell’architettura NVIDIA.
Accesso semplificato ai modelli di ragionamento di DeepSeek con GPU RTX
Con l’evoluzione delle GPU consumer, queste sono diventate potenti strumenti per l’esecuzione di modelli avanzati di grandi dimensioni (LLM) su sistemi locali. NVIDIA e AMD stanno entrambe evolvendo il loro hardware per migliorare l’usabilità di questi modelli. Di recente, AMD ha evidenziato le capacità della sua GPU di punta RDNA 3 utilizzando il DeepSeek R1 LLM. In risposta, NVIDIA ha presentato i risultati di benchmarking della sua ultima serie RTX Blackwell, confermando che la GeForce RTX 5090 ha rivendicato un vantaggio decisivo rispetto ai suoi concorrenti.
Le metriche delle prestazioni rivelano che la GeForce RTX 5090 può elaborare fino a 200 token al secondo con modelli come Distill Qwen 7b e Distill Llama 8b. Questa uscita quasi raddoppia le prestazioni della RX 7900 XTX di AMD, sottolineando il predominio di NVIDIA nelle prestazioni AI. Con l’introduzione del supporto completo “RTX on AI”, possiamo aspettarci che le funzionalità AI edge diventino comuni nei PC di fascia consumer.
Accesso a DeepSeek R1 su GPU NVIDIA
NVIDIA ha facilitato l’accesso per gli appassionati che desiderano sfruttare DeepSeek R1 sulle loro GPU RTX. L’azienda ha rilasciato un blog dettagliato che guida gli utenti attraverso la configurazione, rendendola semplice come l’utilizzo di qualsiasi chatbot online. Ecco un punto chiave del loro recente annuncio:
Per aiutare gli sviluppatori a sperimentare in modo sicuro queste capacità e a creare i propri agenti specializzati, il modello DeepSeek-R1 da 671 miliardi di parametri è ora disponibile come anteprima del microservizio NVIDIA NIM su build.nvidia.com. Il microservizio NIM DeepSeek-R1 può fornire fino a 3.872 token al secondo su un singolo sistema NVIDIA HGX H200.
Gli sviluppatori possono testare e sperimentare l’interfaccia di programmazione delle applicazioni (API), che dovrebbe essere presto disponibile come microservizio NIM scaricabile, parte della piattaforma software NVIDIA AI Enterprise.
Il microservizio NIM DeepSeek-R1 semplifica le distribuzioni con il supporto per API standard del settore. Le aziende possono massimizzare la sicurezza e la riservatezza dei dati eseguendo il microservizio NIM sulla loro infrastruttura di elaborazione accelerata preferita.
– NVIDIA
Questo approccio innovativo consente a sviluppatori e appassionati di sperimentare modelli di intelligenza artificiale utilizzando build locali. L’esecuzione di questi modelli in locale non solo migliora le prestazioni, in base alle capacità hardware del sistema, ma garantisce anche una maggiore sicurezza dei dati, salvaguardando le informazioni sensibili durante tutto il processo.
Per chi fosse interessato a scoprire di più sulle offerte NVIDIA, può trovare maggiori informazioni tramite questo link:
oppure visita la fonte per dettagli e immagini.
Articoli correlati:
Intel promuove le CPU desktop Arrow Lake come un valore superiore per i giocatori rispetto ad AMD Ryzen 9000: confronto tra Core Ultra 7 265K e 9800X3D nelle prestazioni di gioco per dollaro
21:37
DirectX AgilitySDK introduce la distribuzione avanzata degli shader per ridurre i rallentamenti e i tempi di caricamento durante la compilazione degli shader
20:08
La cinese YMTC entra nel mercato delle DRAM per affrontare la carenza regionale di HBM con la produzione nazionale
15:09
Lascia un commento