AMD 3D V-CacheによりRyzenのパフォーマンスが向上し、非X3D CPUと比較してRAG AIの効率が88%向上

AMDの3D V-Cache CPUは、AIベンチマーク、特にRetrieval-Augmented Generation(RAG)パイプラインにおいて顕著な性能向上を示し、非X3DのCPUを大幅に上回っています。

AMDの3D Vキャッシュ搭載CPUと非3D Vキャッシュ搭載CPUのAIアプリケーションにおける性能比較

人工知能は主に2つの方法で実装できますが、現在では大規模言語モデル(LLM)が最も普及しています。これらのモデルは膨大なデータセットで事前学習されていますが、学習範囲を超える応答を生成する際に課題に直面します。

こうした点で、外部データベースを利用して多様なクエリに対する回答を取得する検索拡張生成(RAG)は優れています。RAGシステムは、従来のLLMに比べてやや処理速度は遅いものの、よりきめ細やかな応答を提供します。

「Agent AIがレイテンシーのボトルネックをGPUからCPUへと移行させる」ことを示す棒グラフ。これは、アクションの多いワークフローではCPU処理が全体のレイテンシーをますます支配するようになることを示している。

RAGはベクトルデータベース検索に大きく依存しており、並列処理能力を持つGPUがAI処理において主流となっているにもかかわらず、CPUは依然として重要な役割を果たしている。ベクトル検索中のCPU負荷が高いと、システムボトルネックが発生する可能性がある。

エージェント型AIにおけるワークロードが増加し続けるにつれて、CPU性能の役割はGPUコンピューティングの役割と同等になると予想され、リソース利用の変化を示唆している。

AMD Ryzen 7 9800X3D 3D V-Cache CPUの公式画像

キャッシュ構成を強化したCPUは、このような状況において有利であることが証明されています。例えば、HNSW(階層型ナビゲーション可能なスモールワールド)検索アルゴリズムでは、GPUがLLM推論を処理する一方で、CPUが関与する必要があります。CPUキャッシュが大きいほど、HNSWの検索処理が大幅に高速化され、AI全体の効率が向上します。

この予想を検証するため、GiggleHDはAMDのRyzen 9000X3Dシリーズを含む様々なCPUでX3D RAGベンチマークを実施し、説得力のある結果を得た。

X3D RAGベンチマーク:ローカル/オンプレミスRAGパイプラインにおけるグラフベースのベクトル検索およびステージに対するCPUキャッシュとアーキテクチャの影響を測定するために設計されたオープンソースのベンチマークです。このベンチマークはx86 CPU向けに特化しており、主にAMDおよびIntelシステムでテストされています。

これは個人用PCや小規模チーム環境(約10万~20万個のベクターデータ)向けに設計されており、大規模な分散型ベクターデータベースサービスを代表するものではありません。

棒グラフは「[x3d-rag-benchmark] バッチ検索 100K(QPS)」の結果を示しており、R7 9850X3D が 66399 で最高スコアを記録しています。「[x3d-rag-benchmark] バッチ検索 200K(QPS)」を示す棒グラフ。U9 285K が 49023 で最高スコアを記録しました。

100Kバッチ検索の結果によると、AMDの3D V-Cache CPUは、非3D CPUに比べて最大88%も高速に動作しました。200Kバッチ検索ベンチマークでは、Ryzen 7 9850X3DはRyzen 7 9700Xと比較して50%以上の性能向上を達成しました。特筆すべきは、8コアの3D V-Cache CPUが、16コアのRyzen 9 9950Xをも凌駕したことです。

'[x3d-rag-benchmark] Index Build 100K(vec/s)' の結果を示す棒グラフ。R7 9700X が 6.08 vec/s で最高スコアを記録しました。「[x3d-rag-benchmark] Index Build 200K(vec/s)」というタイトルの棒グラフで、R7 9700Xが15.28という高スコアを記録しています。

100K の Index Build のテストでは、AMD の CPU は時間を 50% 短縮し、200K テストでは結果が 39% 向上しました。スループットの指標は、3D V-Cache モデルでも良好でした。しかし、同時 RAG スループット評価では、8 コア Ryzen 3D V-cache CPU は一貫したパフォーマンスを示し、CPU 間での最初のトークンまでの時間 (TTFT) スループットのばらつきは最小限であり、この特定のタスクにおける GPU への依存が強調されました。

「[x3d-rag-benchmark] スループット(req/s)」というタイトルの棒グラフは、R7 9850X3Dが19.1 req/sで最高のスループットを示していることを示しています。「[x3d-rag-benchmark] 平均TTFT(低いほど良い)」というタイトルの棒グラフは、U9 285Kが148.5で最高のスコアを記録したことを示しています。

要約すると、これらの調査結果はAMDの3D V-Cache CPUの優位性を際立たせており、ゲームだけでなくAI RAGアプリケーションにおいてもその堅牢なパフォーマンスを示しています。主な強みとしては、ベクトル検索、インデックス構築、および同時処理タスクの処理における卓越した能力が挙げられます。

今後の展望として、AMDはデュアル3D Vキャッシュダイを搭載したRyzen 9 9950X3D CPUを間もなく発表する予定です。このモデルは、これまでのRyzenデスクトッププロセッサの中で最大のキャッシュ容量を約束しているため、期待は非常に高まっています。

出典と画像