NVIDIA 96GB RTX Pro 6000은 2300억 규모의 AI 모델에서 4개의 RTX 5090보다 뛰어난 성능을 보이면서도 전력 소비량은 25%에 불과합니다.

NVIDIA의 RTX Pro 6000 Blackwell은 단일 GPU가 특히 대규모 AI 모델 실행 환경에서 기존의 멀티 GPU 구성보다 뛰어난 성능을 발휘할 수 있음을 보여줍니다.놀랍게도, 이 제품은 4개의 RTX 5090을 능가하는 성능을 보여주었습니다.

단일 RTX Pro 6000 Blackwell GPU는 4개의 RTX 5090에 비해 4분의 1의 전력만으로 230B 규모의 AI 모델을 실행합니다.

X에서 Steveibe가 수행한 연구는 가정 환경에서 대규모 AI 모델을 운영하는 것이 가능하다는 점을 보여줍니다.2, 300억 개의 매개변수를 가진 AI 추론 모델인 MiniMax M2.7을 사용하여, 컨텍스트 크기 32k, 최대 토큰 길이 4096으로 설정된 4개의 NVIDIA GPU 기반 구성에서 테스트를 진행했습니다.

MiniMax M2.7은 230B 파라미터를 가지고 있습니다.집에서 실제로 구동할 수 있을까요? 저는 Unsloth의 UD-IQ3_XXS(80GB)를 4개의 다른 시스템에서 테스트해봤습니다.🟠 4x RTX 4090(96GB): 71.52 tok/s, TTFT 1045ms 🟢 4x RTX 5090(128GB): 120.54 tok/s, TTFT 725ms 🟡 1x RTX PRO 6000(96GB): 118.74 tok/s, TTFT 765ms 🟣 DGX… pic.twitter.com/yK8bGg6RtX

— stevibe (@stevibe) 2026년 4월 18일

벤치마킹 과정에서는 낮은 VRAM 구성에 적합한 GGUF 양자화 방식인 IQ3_XXS를 사용했습니다.이 특정 양자화 방식을 선택한 이유는 RTX PRO 6000 GPU의 96GB VRAM을 최대한 활용하기 위함입니다.아래는 다양한 구성에서의 성능 결과입니다.

4x RTX 4090 (96GB): 초당 71.52 토큰, TTFT 1045ms
4x RTX 5090 (128GB): 초당 120.54 토큰, TTFT 725ms
1x RTX PRO 6000 (96GB): 초당 118.74 토큰, TTFT 765ms
DGX Spark(128GB): 초당 24.41 토큰, TTFT 741ms

NVIDIA RTX PRO 6000 Blackwell GPU 하나는 초당 118.74 토큰이라는 놀라운 속도를 달성하여, 4개의 RTX 5090으로 구성된 시스템의 성능인 초당 120.54 토큰에 거의 근접했습니다.구형 RTX 4090으로 구성된 4개의 GPU 시스템은 초당 71.52 토큰이라는 훨씬 낮은 성능을 보였습니다.이와 대조적으로, 128GB 메모리를 탑재한 DGX Spark Mini AI PC는 초당 24.41 토큰으로 가장 낮은 성능을 기록했습니다.

토큰 생성 속도는 RTX PRO 6000 Blackwell과 RTX 5090s에 유리하지만, 전력 소비량 및 비용과 같은 추가적인 요소도 고려하는 것이 중요합니다.

전력 소비량 비교

이러한 구성 전반에 걸친 전력 사용량을 살펴보면 명확한 차이점이 드러납니다.

RTX 4090 4개 구성 시 최대 전력 소비량 1, 800W (GPU당 450W)
RTX 5090 4개 구성: 최대 전력 소비량 2, 300W (GPU당 575W)
RTX PRO 6000 1개: 최대 전력 소비량 600W에 불과
DGX Spark: 총 시스템 전력 240W

이는 단일 RTX PRO 6000이 쿼드 RTX 5090 구성의 4분의 1, 그리고 4개의 RTX 4090 구성의 약 3분의 1에 불과한 전력을 소모한다는 것을 의미합니다. DGX Spark는 낮은 전력 소모량에도 불구하고 완전한 시스템 솔루션으로서 효율적으로 작동합니다.

가격 개요

재정적인 측면에서 보면, 이 GPU들의 가격은 많은 것을 말해줍니다. RTX PRO 6000 Blackwell은 약 9, 500달러이고, RTX 5090은 개당 약 3, 500달러이므로 4개를 구매하려면 총 14, 000달러가 필요합니다. DGX Spark는 가격 조정 후 현재 4, 699달러에 판매되고 있습니다.

RTX 4090 평균 소매 가격: 3, 000달러(GPU당)
RTX 5090 평균 소매 가격: 3, 500달러(GPU당)
RTX PRO 6000 평균 소매 가격: 9, 500달러(GPU당)
DGX Spark AI PC 평균 소매 가격: 4, 699달러

여러 개의 GPU를 사용하면 AI 모델의 성능을 향상시키고 더 많은 메모리를 활용할 수 있지만, 시스템 오버헤드가 발생하여 전반적인 효율성에 영향을 미칠 수도 있습니다.이와 달리 96GB 구성의 RTX PRO 6000 Blackwell은 탁월한 성능을 제공하면서도 까다로운 AI 워크로드에 더욱 효율적이고 비용 효율적인 솔루션을 제공합니다.

출처 및 이미지