NVIDIA niedawno zaprezentowała swój najnowszy procesor graficzny GeForce RTX 5090, który znacznie przewyższa RX 7900 XTX firmy AMD w zadaniach wnioskowania w modelu DeepSeek R1. Ten imponujący skok wydajności jest w dużej mierze przypisywany nowym rdzeniom Tensor piątej generacji zintegrowanym z architekturą NVIDIA.
Usprawniony dostęp do modeli wnioskowania DeepSeek z procesorami graficznymi RTX
W miarę rozwoju konsumenckich procesorów graficznych stały się one potężnymi narzędziami do uruchamiania zaawansowanych dużych modeli językowych (LLM) w systemach lokalnych. NVIDIA i AMD rozwijają swój sprzęt, aby zwiększyć użyteczność tych modeli. Niedawno AMD podkreśliło możliwości swojego flagowego procesora graficznego RDNA 3 przy użyciu DeepSeek R1 LLM. W odpowiedzi NVIDIA zaprezentowała wyniki testów porównawczych swojej najnowszej serii RTX Blackwell, potwierdzając, że GeForce RTX 5090 zdobył zdecydowaną przewagę nad konkurencją.
Metryki wydajności ujawniają, że GeForce RTX 5090 może przetwarzać do 200 tokenów na sekundę z modelami takimi jak Distill Qwen 7b i Distill Llama 8b. Ta wydajność niemal podwaja wydajność AMD RX 7900 XTX, podkreślając dominację firmy NVIDIA w wydajności AI. Dzięki wprowadzeniu kompleksowego wsparcia „RTX on AI” możemy oczekiwać, że możliwości edge AI staną się powszechne w komputerach klasy konsumenckiej.
Dostęp do DeepSeek R1 na procesorach graficznych NVIDIA
NVIDIA ułatwiła dostęp entuzjastom chcącym wykorzystać DeepSeek R1 na swoich procesorach graficznych RTX. Firma opublikowała szczegółowy blog, który przeprowadza użytkowników przez konfigurację, czyniąc ją tak prostą, jak obsługa dowolnego internetowego chatbota. Oto najważniejsze wnioski z ich niedawnego ogłoszenia:
Aby pomóc deweloperom bezpiecznie eksperymentować z tymi możliwościami i budować własne wyspecjalizowane agenty, model DeepSeek-R1 o 671 miliardach parametrów jest teraz dostępny jako podgląd mikrousługi NVIDIA NIM na build.nvidia.com. Mikrousługa DeepSeek-R1 NIM może dostarczyć do 3872 tokenów na sekundę na pojedynczym systemie NVIDIA HGX H200.
Programiści mogą testować i eksperymentować z interfejsem programowania aplikacji (API), który prawdopodobnie będzie wkrótce dostępny do pobrania jako mikrousługa NIM, część platformy oprogramowania NVIDIA AI Enterprise.
Mikrousługa NIM DeepSeek-R1 upraszcza wdrożenia dzięki obsłudze standardowych interfejsów API. Przedsiębiorstwa mogą zmaksymalizować bezpieczeństwo i prywatność danych, uruchamiając mikrousługę NIM na preferowanej przez siebie przyspieszonej infrastrukturze obliczeniowej.
– NVIDIA
To innowacyjne podejście umożliwia programistom i entuzjastom eksperymentowanie z modelami AI przy użyciu lokalnych kompilacji. Uruchamianie tych modeli lokalnie nie tylko zwiększa wydajność — w zależności od możliwości sprzętowych systemu — ale także zapewnia większe bezpieczeństwo danych, chroniąc poufne informacje w całym procesie.
Osoby zainteresowane dokładniejszym poznaniem oferty firmy NVIDIA mogą zapoznać się z dodatkowymi informacjami pod tym linkiem:
lub odwiedź źródło, aby uzyskać szczegółowe informacje i zdjęcia.
Powiązane artykuły:
Zestaw z procesorem Intel Core i5 14600K Battlefield 6 teraz tylko za 149 USD
11:25
Postęp Chin w dziedzinie układów AI 5 nm: krajowe firmy ogłaszają dwa nowe rozwiązania do trenowania modeli i zastosowań AI w komputerach PC
9:59
Szczegóły wydania NWinfo w wersji 1.4.3
3:31
Dodaj komentarz