NVIDIA ha presentado recientemente su última GPU GeForce RTX 5090, que supera significativamente a la RX 7900 XTX de AMD en tareas de inferencia en el modelo DeepSeek R1. Este impresionante salto en el rendimiento se atribuye en gran medida a los nuevos núcleos Tensor de quinta generación integrados en la arquitectura de NVIDIA.
Acceso optimizado a los modelos de razonamiento de DeepSeek con GPU RTX
A medida que las GPU de consumo evolucionan, se han convertido en herramientas poderosas para ejecutar modelos de lenguaje grande (LLM) avanzados en sistemas locales. NVIDIA y AMD están evolucionando su hardware para mejorar la usabilidad de estos modelos. Recientemente, AMD destacó las capacidades de su GPU insignia RDNA 3 utilizando el LLM DeepSeek R1. En respuesta, NVIDIA mostró los resultados de evaluación comparativa de su última serie RTX Blackwell, lo que confirma que la GeForce RTX 5090 ha obtenido una ventaja decisiva sobre sus competidores.
Las métricas de rendimiento revelan que la GeForce RTX 5090 puede procesar hasta 200 tokens por segundo con modelos como Distill Qwen 7b y Distill Llama 8b. Esta capacidad casi duplica el rendimiento de la RX 7900 XTX de AMD, lo que subraya el dominio de NVIDIA en el rendimiento de la IA. Con la introducción de la compatibilidad integral con «RTX on AI», podemos esperar que las capacidades de IA de vanguardia se vuelvan algo común en las PC de consumo.
Cómo acceder a DeepSeek R1 en las GPU NVIDIA
NVIDIA ha facilitado el acceso a los entusiastas que buscan aprovechar DeepSeek R1 en sus GPU RTX. La empresa ha publicado un blog detallado que guía a los usuarios a través de la configuración, haciéndolo tan sencillo como operar cualquier chatbot en línea. A continuación, se incluye una conclusión clave de su reciente anuncio:
Para ayudar a los desarrolladores a experimentar de forma segura con estas capacidades y crear sus propios agentes especializados, el modelo DeepSeek-R1 de 671 mil millones de parámetros ahora está disponible como una vista previa del microservicio NIM de NVIDIA en build.nvidia.com. El microservicio NIM DeepSeek-R1 puede entregar hasta 3872 tokens por segundo en un solo sistema NVIDIA HGX H200.
Los desarrolladores pueden probar y experimentar con la interfaz de programación de aplicaciones (API), que se espera que esté disponible pronto como un microservicio NIM descargable, parte de la plataforma de software NVIDIA AI Enterprise.
El microservicio NIM DeepSeek-R1 simplifica las implementaciones gracias a su compatibilidad con las API estándar de la industria. Las empresas pueden maximizar la seguridad y la privacidad de los datos ejecutando el microservicio NIM en su infraestructura de computación acelerada preferida.
– NVIDIA
Este enfoque innovador permite a los desarrolladores y entusiastas experimentar con modelos de IA mediante compilaciones locales. La ejecución local de estos modelos no solo mejora el rendimiento (dependiendo de las capacidades del hardware del sistema), sino que también garantiza una mayor seguridad de los datos y protege la información confidencial durante todo el proceso.
Para aquellos interesados en explorar más sobre las ofertas de NVIDIA, consulte más información a través de este enlace:
o visite la fuente para obtener detalles e imágenes.
Artículos relacionados:
El presidente Trump lanza una advertencia a los fabricantes de chips: eviten aranceles «elevados» invirtiendo en la manufactura estadounidense, ya que se convierte en una prioridad absoluta.
8:59
Lenovo presenta la PC de torre LOQ con CPU AMD Ryzen 8000HX y GPU de escritorio RTX 50; la laptop Legion Pro 7 cuenta con hasta Ryzen 9 9955HX3D y RTX 5080
8:53
Lenovo lanza los monitores para juegos OLED Legion Pro 32UD-10, 27UD-10 y 27Q-10 con frecuencias de actualización de hasta 240 Hz UHD y 280 Hz QHD
8:52
Deja una respuesta