NVIDIA ha presentado recientemente su última GPU GeForce RTX 5090, que supera significativamente a la RX 7900 XTX de AMD en tareas de inferencia en el modelo DeepSeek R1. Este impresionante salto en el rendimiento se atribuye en gran medida a los nuevos núcleos Tensor de quinta generación integrados en la arquitectura de NVIDIA.
Acceso optimizado a los modelos de razonamiento de DeepSeek con GPU RTX
A medida que las GPU de consumo evolucionan, se han convertido en herramientas poderosas para ejecutar modelos de lenguaje grande (LLM) avanzados en sistemas locales. NVIDIA y AMD están evolucionando su hardware para mejorar la usabilidad de estos modelos. Recientemente, AMD destacó las capacidades de su GPU insignia RDNA 3 utilizando el LLM DeepSeek R1. En respuesta, NVIDIA mostró los resultados de evaluación comparativa de su última serie RTX Blackwell, lo que confirma que la GeForce RTX 5090 ha obtenido una ventaja decisiva sobre sus competidores.
Las métricas de rendimiento revelan que la GeForce RTX 5090 puede procesar hasta 200 tokens por segundo con modelos como Distill Qwen 7b y Distill Llama 8b. Esta capacidad casi duplica el rendimiento de la RX 7900 XTX de AMD, lo que subraya el dominio de NVIDIA en el rendimiento de la IA. Con la introducción de la compatibilidad integral con «RTX on AI», podemos esperar que las capacidades de IA de vanguardia se vuelvan algo común en las PC de consumo.
Cómo acceder a DeepSeek R1 en las GPU NVIDIA
NVIDIA ha facilitado el acceso a los entusiastas que buscan aprovechar DeepSeek R1 en sus GPU RTX. La empresa ha publicado un blog detallado que guía a los usuarios a través de la configuración, haciéndolo tan sencillo como operar cualquier chatbot en línea. A continuación, se incluye una conclusión clave de su reciente anuncio:
Para ayudar a los desarrolladores a experimentar de forma segura con estas capacidades y crear sus propios agentes especializados, el modelo DeepSeek-R1 de 671 mil millones de parámetros ahora está disponible como una vista previa del microservicio NIM de NVIDIA en build.nvidia.com. El microservicio NIM DeepSeek-R1 puede entregar hasta 3872 tokens por segundo en un solo sistema NVIDIA HGX H200.
Los desarrolladores pueden probar y experimentar con la interfaz de programación de aplicaciones (API), que se espera que esté disponible pronto como un microservicio NIM descargable, parte de la plataforma de software NVIDIA AI Enterprise.
El microservicio NIM DeepSeek-R1 simplifica las implementaciones gracias a su compatibilidad con las API estándar de la industria. Las empresas pueden maximizar la seguridad y la privacidad de los datos ejecutando el microservicio NIM en su infraestructura de computación acelerada preferida.
– NVIDIA
Este enfoque innovador permite a los desarrolladores y entusiastas experimentar con modelos de IA mediante compilaciones locales. La ejecución local de estos modelos no solo mejora el rendimiento (dependiendo de las capacidades del hardware del sistema), sino que también garantiza una mayor seguridad de los datos y protege la información confidencial durante todo el proceso.
Para aquellos interesados en explorar más sobre las ofertas de NVIDIA, consulte más información a través de este enlace:
o visite la fuente para obtener detalles e imágenes.
Artículos relacionados:
Intel promociona las CPU de escritorio Arrow Lake como una opción de valor superior para los jugadores frente a AMD Ryzen 9000: comparación del Core Ultra 7 265K con el 9800X3D en rendimiento de juegos por dólar
21:38
DirectX AgilitySDK presenta la entrega avanzada de sombreadores para reducir los cortes y los tiempos de carga durante la compilación de sombreadores
20:09
YMTC de China ingresa al mercado de DRAM para abordar la escasez regional de HBM con producción nacional
15:09
Deja una respuesta