O V-Cache 3D da AMD aprimora o desempenho do Ryzen, aumentando a eficiência da IA RAG em 88% em comparação com CPUs sem X3D.

Os processadores 3D V-Cache da AMD apresentam uma melhoria notável em benchmarks de IA, particularmente em pipelines de Geração Aumentada por Recuperação (RAG), superando significativamente seus equivalentes não-X3D.

Comparação do desempenho de CPUs AMD com e sem 3D V-Cache em aplicações de IA

A Inteligência Artificial pode ser implementada de duas maneiras principais, sendo os Modelos de Linguagem de Grande Porte (LLMs, na sigla em inglês) atualmente os mais populares. Esses modelos são pré-treinados em extensos conjuntos de dados, mas encontram desafios ao gerar respostas que extrapolam seu escopo de treinamento.

É aqui que a Geração Aumentada por Recuperação (RAG) se destaca, utilizando um banco de dados externo para buscar respostas para consultas variadas. Os sistemas RAG fornecem respostas mais detalhadas, embora em um ritmo um pouco mais lento em comparação com os modelos de aprendizagem linear tradicionais.

Um gráfico de barras ilustrando "A IA Agentic desloca o gargalo de latência das GPUs para as CPUs", mostrando o processamento da CPU dominando cada vez mais a latência total em fluxos de trabalho com maior volume de ações.

O RAG depende fortemente de buscas em bancos de dados vetoriais, onde as CPUs desempenham um papel crucial, apesar das GPUs serem predominantes no processamento de IA devido às suas capacidades paralelas. A alta demanda de CPU durante buscas vetoriais pode levar a gargalos no sistema.

À medida que as cargas de trabalho em IA Agética continuam a aumentar, espera-se que o desempenho da CPU desempenhe um papel semelhante ao da computação em GPU, sinalizando uma mudança na utilização de recursos.

Imagem oficial do processador AMD Ryzen 7 9800X3D com V-Cache 3D.

CPUs com configurações de cache elevadas demonstram ser vantajosas nesses contextos. Um exemplo é o algoritmo de busca HNSW (Hierarchical Navigable Small World), que exige a participação da CPU enquanto as GPUs lidam com a inferência LLM. Um cache de CPU maior pode acelerar consideravelmente o processo de recuperação para o HNSW, aumentando a eficácia geral da IA.

Para validar essa expectativa, a GiggleHD realizou o benchmark X3D RAG em várias CPUs, incluindo a série Ryzen 9000X3D da AMD, obtendo resultados convincentes.

X3D RAG Benchmark: Um benchmark de código aberto projetado para avaliar o impacto do cache e da arquitetura da CPU em buscas vetoriais baseadas em grafos e estágios dentro de pipelines RAG locais/on-premise. Este benchmark é especificamente adaptado para CPUs x86 e foi testado principalmente em sistemas AMD e Intel.

Projetado para PCs pessoais e configurações de pequenas equipes (aproximadamente 100 mil a 200 mil vetores), não é representativo de serviços de banco de dados de vetores distribuídos em larga escala.

Gráfico de barras mostrando os resultados de '[x3d-rag-benchmark] Batch Search 100K(QPS)' com o R7 9850X3D obtendo a pontuação mais alta com 66399.

Gráfico de barras ilustrando '[x3d-rag-benchmark] Batch Search 200K(QPS)' com U9 285K obtendo a pontuação mais alta em 49023.

Os resultados do teste de busca em lote de 100 mil itens indicaram que as CPUs com V-Cache 3D da AMD operaram até 88% mais rápido do que suas contrapartes sem 3D. No benchmark de busca em lote de 200 mil itens, o Ryzen 7 9850X3D alcançou um aumento de desempenho superior a 50% em comparação com o Ryzen 7 9700X. Notavelmente, a CPU de 8 núcleos com V-Cache 3D superou até mesmo o Ryzen 9 9950X de 16 núcleos.

Gráfico de barras demonstrando os resultados de '[x3d-rag-benchmark] Index Build 100K(vec/s)', com o R7 9700X obtendo a pontuação mais alta, de 6, 08 vec/s.

Gráfico de barras intitulado '[x3d-rag-benchmark] Index Build 200K(vec/s)' mostrando o R7 9700X com uma pontuação alta de 15, 28.

Nos testes do Index Build com 100 mil núcleos, as CPUs da AMD reduziram o tempo em 50%, enquanto os resultados nos testes com 200 mil núcleos melhoraram em 39%.As métricas de desempenho também foram favoráveis para os modelos com V-Cache 3D. No entanto, durante as avaliações de desempenho RAG simultâneo, as CPUs Ryzen de 8 núcleos com V-Cache 3D apresentaram desempenho consistente; as variações no tempo até o primeiro token (TTFT) entre as CPUs foram mínimas, destacando a dependência da GPU para essa tarefa específica.

Gráfico de barras intitulado '[x3d-rag-benchmark] Taxa de transferência (requisições/s)' revelando o R7 9850X3D com a maior taxa de transferência, de 19, 1 requisições/s.

Gráfico de barras intitulado '[x3d-rag-benchmark] Média de TTFT (menor é melhor)' indicando que o U9 285K obteve a pontuação mais alta, com 148, 5.

Em resumo, esses resultados destacam a superioridade das CPUs 3D V-Cache da AMD, demonstrando seu desempenho robusto não apenas em jogos, mas também em aplicações de IA RAG. Os principais pontos fortes incluem capacidades excepcionais em buscas vetoriais, construção de índices e gerenciamento de tarefas de processamento simultâneo.

Olhando para o futuro, a AMD está prestes a lançar o processador Ryzen 9 9950X3D, que conta com dois chips de cache V-cache 3D. A expectativa para este modelo é alta, já que promete a maior capacidade de cache de qualquer processador Ryzen para desktops até o momento.

Fonte e imagens