CPUs AMD Ryzen AI e GPUs Radeon 7000 podem executar chatbots localizados usando LLMs, assim como o bate-papo da NVIDIA com RTX
Após o lançamento do Chat com RTX da NVIDIA, a AMD agora está oferecendo aos usuários seu próprio chatbot de IA localizado e baseado em GPT, que pode ser executado em CPUs Ryzen AI e GPUs Radeon 7000.
O bate-papo da NVIDIA com RTX tem um concorrente enquanto a AMD revela seu próprio chatbot localizado com tecnologia LLM que pode ser executado em CPUs Ryzen AI e GPUs Radeon 7000
No mês passado, a NVIDIA lançou seu AI Chatbot “ Chat with RTX ”, que está disponível em suas GPUs RTX 40 e RTX 30 e é acelerado com o conjunto de recursos TensorRT-LLM que oferece resultados GenAI mais rápidos com base nos dados que você disponibiliza para ele de seu PC ou em outros termos, um conjunto de dados localizado. Agora a AMD está oferecendo seu próprio chatbot GPT baseado em LLM que pode ser executado em uma ampla gama de hardware, como os PCs Ryzen AI, que incluem APUs Ryzen 7000 e Ryzen 8000 com NPUs XDNA junto com as mais recentes GPUs Radeon 7000 que apresentam núcleos aceleradores de IA .
Para CPUs AMD Ryzen AI, você pode obter a cópia padrão do LM Studio para Windows, enquanto as GPUs Radeon RX 7000 obtêm uma visualização técnica ROCm. O guia completo é compartilhado abaixo:
3. Na aba de pesquisa, copie e cole o seguinte termo de pesquisa dependendo do que você deseja executar:
a. Se você deseja executar o Mistral 7b, pesquise: “ TheBloke/OpenHermes-2.5-Mistral-7B-GGUF ” e selecione-o nos resultados à esquerda. Normalmente será o primeiro resultado. Vamos com Mistral neste exemplo.
b. Se você deseja executar o LLAMA v2 7b, pesquise: “ TheBloke/Llama-2-7B-Chat-GGUF ” e selecione-o nos resultados à esquerda. Normalmente será o primeiro resultado.
c. Você também pode experimentar outros modelos aqui.
4. No painel direito, role para baixo até ver o arquivo do modelo Q4 KM . Clique em baixar.
a. Recomendamos Q4 KM para a maioria dos modelos Ryzen AI. Espere que o download termine.
5. Vá para a aba de bate-papo. Selecione o modelo no menu suspenso central na parte superior central e espere que ele termine de carregar.
6. Se você possui um PC AMD Ryzen AI , pode começar a conversar!
a. Se você tiver uma placa gráfica AMD Radeon , por favor:
eu. Verifique “GPU Offload” no painel lateral direito.
ii. Mova o controle deslizante totalmente para “Máx”.
iii. Certifique-se de que AMD ROCm esteja sendo mostrado como o tipo de GPU detectado.
4. Começar a conversar!
Ter um chatbot localizado com tecnologia de IA pode tornar a vida e o trabalho relativamente mais fáceis se configurado corretamente. Você pode ser eficiente ao fazer seu trabalho e obter resultados adequados com base em suas consultas e no caminho de dados ao qual o LLM se destina. A NVIDIA e a AMD estão acelerando o ritmo dos recursos alimentados por IA para hardware de consumo e isso é apenas o começo. Esperemos mais inovações no futuro, à medida que o segmento de PCs com IA atinge novos patamares.
Deixe um comentário