NVIDIA 最近發布了其最新的 GeForce RTX 5090 GPU，其在 DeepSeek R1 模型的推理任務中表現明顯優於 AMD 的 RX 7900 XTX。這一令人印象深刻的效能飛躍很大程度上歸功於 NVIDIA 架構中整合的全新第五代 Tensor Core。
使用 RTX GPU 簡化對 DeepSeek 推理模型的訪問
隨著消費級 GPU 的發展，它們已成為在本地系統上運行高級大型語言模型 (LLM) 的強大工具。 NVIDIA 和 AMD 都在改進其硬體以增強這些型號的可用性。最近，AMD 使用 DeepSeek R1 LLM 展示了其 RDNA 3 旗艦 GPU 的功能。作為回應，NVIDIA 展示了其最新 RTX Blackwell 系列的基準測試結果，證實 GeForce RTX 5090 在其競爭對手中佔據了決定性的優勢。
效能指標顯示，GeForce RTX 5090 可以使用 Distill Qwen 7b 和 Distill Llama 8b 等型號每秒處理多達 200 個代幣。這項輸出幾乎是 AMD RX 7900 XTX 效能的兩倍，凸顯了 NVIDIA 在 AI 效能方面的主導地位。隨著全面「RTX on AI」支援的引入，我們可以預期邊緣 AI 功能將在消費級 PC 中變得普遍。
在 NVIDIA GPU 上造訪 DeepSeek R1
NVIDIA 為希望在 RTX GPU 上利用 DeepSeek R1 的愛好者提供了便利。該公司發布了一個詳細的博客，指導用戶完成設置，使其像操作任何線上聊天機器人一樣簡單。以下是他們最近發布的公告的一個重要內容：
為了幫助開發人員安全地試驗這些功能並建立自己的專用代理，擁有 6, 710 億個參數的 DeepSeek-R1 模型現已作為 NVIDIA NIM 微服務預覽版在build.nvidia.com上提供。 DeepSeek-R1 NIM 微服務在單一 NVIDIA HGX H200 系統上每秒最多可傳送 3, 872 個令牌。
開發人員可以使用應用程式介面 (API) 進行測試和試驗，預計很快就會作為可下載的 NIM 微服務提供，是NVIDIA AI Enterprise軟體平台的一部分。
DeepSeek-R1 NIM 微服務透過支援產業標準 API 簡化了部署。企業可以在其首選的加速運算基礎架構上運行 NIM 微服務，從而最大限度地提高安全性和資料隱私。
– NVIDIA
這種創新方法使開發人員和愛好者能夠使用本地構建來試驗 AI 模型。在本地運行這些模型不僅可以提高效能（取決於系統的硬體功能），還能確保更高的資料安全性，在整個過程中保護敏感資訊。
對於有興趣進一步了解 NVIDIA 產品的人，請透過此連結查看更多資訊：
或訪問來源以了解詳細資訊和圖像。
發佈留言 ▼