AMD 3D V-캐시가 라이젠 성능을 향상시켜 RAG AI 효율성을 비X3D CPU 대비 88% 높였습니다.

AMD의 3D V-캐시 CPU는 AI 벤치마크, 특히 RAG(Retrieval-Augmented Generation) 파이프라인에서 눈에 띄게 향상된 성능을 보여주며, 비X3D CPU를 크게 능가합니다.

AMD의 3D V-캐시 탑재 CPU와 비 탑재 CPU의 AI 애플리케이션 성능 비교

인공지능은 크게 두 가지 방식으로 구현할 수 있는데, 현재 대규모 언어 모델(LLM)이 가장 널리 사용되고 있습니다.이러한 모델은 방대한 데이터셋으로 사전 학습되지만, 학습 범위를 벗어난 응답을 생성할 때는 어려움을 겪습니다.

바로 이 점에서 RAG(Retrieval-Augmented Generation)가 탁월한 성능을 발휘합니다. RAG 시스템은 외부 데이터베이스를 활용하여 다양한 질의에 대한 답을 찾아냅니다.기존의 LLM(Learning Leadership Model)에 비해 속도는 다소 느리지만, 더욱 세밀한 답변을 제공합니다.

'에이전트 AI가 지연 시간 병목 현상을 GPU에서 CPU로 이동시킨다'는 것을 보여주는 막대 그래프로, 액션이 많은 워크플로우에서 CPU 처리가 전체 지연 시간에서 점점 더 큰 비중을 차지하고 있음을 나타냅니다.

RAG는 벡터 데이터베이스 검색에 크게 의존하는데, 병렬 처리 능력 덕분에 GPU가 AI 처리에서 지배적인 위치를 차지하고 있음에도 불구하고 CPU가 중요한 역할을 합니다.벡터 검색 중 높은 CPU 사용률은 시스템 병목 현상을 초래할 수 있습니다.

에이전트형 AI의 작업 부하가 계속 증가함에 따라 CPU 성능의 역할은 GPU 컴퓨팅과 유사한 수준으로 중요해질 것으로 예상되며, 이는 리소스 활용 방식의 변화를 시사합니다.

캐시 구성이 향상된 CPU는 이러한 상황에서 유리한 것으로 입증되었습니다.예를 들어, HNSW(계층적 탐색 가능 스몰 월드) 탐색 알고리즘은 CPU의 개입이 필수적이며, GPU는 LLM 추론을 처리합니다.더 큰 CPU 캐시는 HNSW의 검색 프로세스를 상당히 가속화하여 전반적인 AI 효율성을 향상시킬 수 있습니다.

이러한 예상을 검증하기 위해 GiggleHD는 AMD의 Ryzen 9000X3D 시리즈를 포함한 다양한 CPU에서 X3D RAG 벤치마크를 수행했으며, 매우 고무적인 결과를 얻었습니다.

X3D RAG 벤치마크: CPU 캐시 및 아키텍처가 로컬/온프레미스 RAG 파이프라인 내의 그래프 기반 벡터 검색 및 단계에 미치는 영향을 측정하기 위해 설계된 오픈 소스 벤치마크입니다.이 벤치마크는 특히 x86 CPU에 최적화되어 있으며 주로 AMD 및 Intel 시스템에서 테스트되었습니다.

이 소프트웨어는 개인용 PC 및 소규모 팀 환경(약 10만~20만 개의 벡터)에 맞게 설계되었으며, 대규모 분산 벡터 데이터베이스 서비스를 대표하는 것은 아닙니다.

R7 9850X3D가 66399로 가장 높은 점수를 기록한 '[x3d-rag-benchmark] 배치 검색 100K(QPS)' 결과를 보여주는 막대 그래프입니다.

U9 285K가 49023으로 가장 높은 점수를 기록한 '[x3d-rag-benchmark] 배치 검색 200K(QPS)'을 나타내는 막대 그래프입니다.

10만 코어 배치 검색 결과에 따르면 AMD의 3D V-캐시 CPU는 일반 CPU보다 최대 88% 더 빠른 성능을 보였습니다.20만 코어 배치 검색 벤치마크에서는 Ryzen 7 9850X3D가 Ryzen 7 9700X 대비 50% 이상 향상된 성능을 달성했습니다.특히 8코어 3D V-캐시 CPU는 16코어 Ryzen 9 9950X보다도 뛰어난 성능을 보여주었습니다.

R7 9700X가 6.08 vec/s로 가장 높은 점수를 기록한 '[x3d-rag-benchmark] Index Build 100K(vec/s)' 결과를 보여주는 막대 그래프입니다.

'[x3d-rag-benchmark] Index Build 200K(vec/s)'라는 제목의 막대 그래프에서 R7 9700X가 15.28의 최고 점수를 기록한 것을 보여줍니다.

100K 인덱스 빌드 테스트에서 AMD CPU는 처리 시간을 50% 단축했으며, 200K 테스트에서는 39% 향상되었습니다.처리량 지표 또한 3D V-캐시 모델에서 우수한 결과를 보였습니다.그러나 동시 RAG 처리량 평가에서는 8코어 라이젠 3D V-캐시 CPU가 일관된 성능을 보였으며, CPU 간 첫 토큰 처리 시간(TTFT) 편차가 미미하여 이 특정 작업에서는 GPU의 의존도가 높다는 점을 강조했습니다.