Procesory AMD Ryzen AI i karty graficzne Radeon 7000 mogą uruchamiać zlokalizowane chatboty przy użyciu LLM, podobnie jak czat NVIDIA z RTX
Po uruchomieniu NVIDIA Chat with RTX, AMD oferuje teraz użytkownikom własnego, zlokalizowanego chatbota AI opartego na GPT i zasilanego LLM, który może działać na procesorach Ryzen AI i kartach graficznych Radeon 7000.
Czat NVIDIA z RTX ma konkurenta, ponieważ AMD przedstawia własnego, zlokalizowanego chatbota opartego na LLM, który może działać na procesorach Ryzen AI i kartach graficznych Radeon 7000
W zeszłym miesiącu firma NVIDIA uruchomiła swojego chatbota AI „ Czatuj z RTX ”, który jest dostępny na procesorach graficznych RTX 40 i RTX 30 i jest przyspieszany dzięki zestawowi funkcji TensorRT-LLM, który zapewnia szybsze wyniki GenAI w oparciu o dane, które udostępniasz mu ze swojego komputera. PC lub innymi słowy zlokalizowany zbiór danych. Teraz AMD oferuje własnego chatbota GPT opartego na LLM, który może działać na różnorodnych urządzeniach, takich jak komputery PC Ryzen AI, w tym procesory APU Ryzen 7000 i Ryzen 8000 z jednostkami XDNA NPU oraz najnowsze procesory graficzne Radeon 7000 z rdzeniami akceleratorów AI .
W przypadku procesorów AMD Ryzen AI można uzyskać standardową kopię LM Studio dla systemu Windows, natomiast procesory graficzne Radeon RX 7000 otrzymają wersję techniczną ROCm. Pełny przewodnik udostępniamy poniżej:
3. W zakładce wyszukiwania skopiuj i wklej następujące wyszukiwane hasło w zależności od tego, co chcesz uruchomić:
A. Jeśli chcesz uruchomić Mistral 7b, wyszukaj: „ TheBloke/OpenHermes-2.5-Mistral-7B-GGUF ” i wybierz go z wyników po lewej stronie. Zwykle będzie to pierwszy wynik. W tym przykładzie jedziemy z Mistralem.
B. Jeśli chcesz uruchomić LLAMA v2 7b, wyszukaj: „ TheBloke/Llama-2-7B-Chat-GGUF ” i wybierz go z wyników po lewej stronie. Zwykle będzie to pierwszy wynik.
C. Tutaj możesz także poeksperymentować z innymi modelami.
4. Na panelu po prawej stronie przewiń w dół, aż zobaczysz plik modelu Q4 KM . Kliknij pobierz.
A. W przypadku większości modeli na Ryzen AI zalecamy Q4 KM . Poczekaj, aż pobieranie zakończy się.
5. Przejdź do zakładki czatu. Wybierz model z centralnego menu rozwijanego w górnej środkowej części i poczekaj, aż zakończy się ładowanie.
6. Jeśli masz komputer z procesorem AMD Ryzen AI, możesz zacząć rozmawiać!
A. Jeżeli posiadasz kartę graficzną AMD Radeon , prosimy o:
I. Zaznacz „Odciążenie GPU” na panelu po prawej stronie.
II. Przesuń suwak do końca na „Max”.
iii. Upewnij się, że jako wykryty typ procesora graficznego wyświetlany jest AMD ROCm.
IV. Zacząć gadać!
Posiadanie zlokalizowanego chatbota zasilanego sztuczną inteligencją może stosunkowo ułatwić życie i pracę, jeśli zostanie odpowiednio skonfigurowane. Możesz wydajnie wykonywać swoją pracę i uzyskiwać odpowiednie wyniki w oparciu o swoje zapytania i ścieżkę danych, na którą ukierunkowany jest LLM. NVIDIA i AMD przyspieszają wprowadzanie funkcji opartych na sztucznej inteligencji dla sprzętu konsumenckiego, a to dopiero początek. W przyszłości możesz spodziewać się kolejnych innowacji, gdy segment komputerów PC ze sztuczną inteligencją osiągnie nowy poziom.
Dodaj komentarz