Super Micro Computer의 NVIDIA HGX B200은 H200 8-GPU 시스템에 비해 Llama2-70b 및 Llama3.1-405b 벤치마크에서 초당 3배 이상의 토큰을 달성합니다.

Super Micro Computer의 NVIDIA HGX B200은 H200 8-GPU 시스템에 비해 Llama2-70b 및 Llama3.1-405b 벤치마크에서 초당 3배 이상의 토큰을 달성합니다.

이 콘텐츠는 투자 조언을 구성하지 않는다는 점에 유의하십시오.저자는 여기에서 논의된 주식에 대한 입장을 가지고 있지 않습니다.

기술 시장에서의 슈퍼마이크로컴퓨터의 회복력

기술 부문에 영향을 미치는 격변에도 불구하고 Super Micro Computer(NASDAQ: SMCI)는 올해 6% 급등했습니다.이러한 성과는 주목할 만한데, 특히 주요 기업이 현재 경제 상황에서 어려움에 직면해 있기 때문입니다.최근 Goldman Sachs는 SMCI를 하드웨어 부문에서 “가장 실적이 좋은 주식”으로 인정했습니다.혁신의 또 다른 표현으로, Super Micro는 NVIDIA의 B200 GPU로 구동되는 시스템의 AI 역량이 크게 향상되었다고 발표했습니다.

AI 성능 리더십 발표

Super Micro는 이제 “4U 액체 냉각 및 10U 공랭 시스템”을 뛰어난 성능의 제품으로 선전하고 있으며, H200 8-GPU 시스템과 비교했을 때 Llama2-70B 및 Llama3.1-405B 벤치마크에서 초당 3배 이상 많은 토큰(Token/s)을 생성한다고 주장합니다.이러한 성능의 도약은 AI 기술 발전에 대한 회사의 헌신을 증명합니다.

“운영 마진 내에서 Supermicro 공랭식 B200 시스템은 액체 냉각식 B200 시스템과 동일한 수준의 성능을 보였습니다.”

혁신적인 냉각 기술

Super Micro의 최신 NVIDIA HGX B200 시스템은 새롭게 설계된 냉각판과 250kW 냉각수 분배 장치를 포함한 고급 냉각 기술로 설계되었습니다.이 혁신적인 디자인은 수직 냉각수 분배 매니폴드를 사용하여 랙 공간 효율성을 극대화합니다.결과적으로 **42U 랙**에 총 **64개의 NVIDIA Blackwell GPU**가 있는 **8개의 시스템**을 수용하거나, **52U 랙**에 **96개의 NVIDIA Blackwell GPU**가 있는 **12개의 시스템**을 수용할 수 있습니다.

“새로운 공랭식 10U NVIDIA HGX B200 시스템은 8개의 1000W TDP Blackwell GPU를 수용할 수 있도록 확장된 열 헤드룸을 갖춘 재설계된 섀시를 특징으로 합니다.새로운 10U 공랭식 시스템 중 최대 4개를 설치하여 랙에 완전히 통합할 수 있으며, 이전 세대와 동일한 밀도로 최대 15배의 추론 및 3배의 트레이닝 성능을 제공합니다.”

서버 높이 측정 이해

익숙하지 않은 분들을 위해 설명드리자면, “U”라는 단위는 서버 높이를 뜻하는데, 1U는 1.75인치에 해당합니다.

애플의 전략적 변화

최근 개발에서 Loop Capital은 Apple이 “대형 서버 클러스터 Gen AI 시장”에 진출한다고 밝혔습니다.이 전략적 전환은 최근의 과제, 특히 Siri를 둘러싼 과제에 대한 대응으로, 회사가 NVIDIA의 상업용 GPU로 나아가도록 하는 계기가 되었습니다.

“AAPL[Apple]은 SMCI[Super Micro Computer]와 DELL로 구성된 약 10억 달러 규모의 GB300NVL72(또는 각각 370만~400만 달러짜리 서버 약 250대)에 대한 주문을 진행 중입니다.”

이 대규모 주문은 현재 급성장하고 있는 AI 서버 랙 시장의 선도적 공급업체인 Super Micro Computer와 Dell 두 회사 모두에게 큰 성공을 의미합니다.

출처 및 이미지

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다