NVIDIA B200이 포함 된 슈퍼 미크로 시스템은 이전 세대보다 3 배보다 우수합니다.

Super Micro Computer, Inc. (SMCI), AI/ML, HPC, Cloud, Storage 및 5G/Edge의 총 IT 솔루션 제공 업체

Leading industry-standard performance in select MLPerf V5.0 Inference benchmarks is announced today by Super Micro Computer, Inc. (Nasdaq: SMCI), a premier provider of complete IT solutions for AI/ML, HPC, cloud, storage, and 5G/edge.

Select MLPERF v5.0 추론 벤치 마크의 주요 산업 표준 성과는 오늘 AI/ML, HPC, 클라우드, 스토리지 및 5G/edge를위한 완전한 IT 솔루션의 프리미어 제공 업체 인 Super Micro Computer, Inc. (NASDAQ : SMCI)에 의해 발표됩니다.

In several V5.0 Inference benchmarks, Supermicro systems achieved the best performance. The company's 4U liquid-cooled and 10U air-cooled systems, which used the NVIDIA HGX B200 8-GPU, outperformed H200 8-GPU systems by more than 3 times in the generation of tokens per second (Token/s) for the Llama2-70B and Llama3.1-405B benchmarks.

여러 V5.0 추론 벤치 마크에서 Supermicro Systems는 최고의 성능을 달성했습니다. NVIDIA HGX B200 8-GPU를 사용한이 회사의 4U 액체 냉각 및 10U 공냉식 시스템은 LLAMA2-70B 및 LLAMA3.1-405B 벤치 마크의 초당 토큰 (토큰/S)에서 H200 8-GPU 시스템을 3 배 이상 능가했습니다.

"We are pleased to see the first new benchmarks from MLCommons in 2025, with Supermicro remaining a leader in the AI industry," said Charles Liang, president and CEO of Supermicro. "Our building block architecture allows us to be first to market with a diverse range of systems optimized for various workloads. We continue to collaborate closely with NVIDIA to fine-tune our systems and secure a leadership position in AI workloads."

Supermicro의 사장 겸 CEO 인 Charles Liang은“우리는 2025 년 MLCommons의 최초의 새로운 벤치 마크를 보게되어 기쁘고, Supermicro는 AI 업계의 리더로 남아 있습니다. "우리의 빌딩 블록 아키텍처를 통해 다양한 워크로드에 최적화 된 다양한 시스템으로 시장을 먼저 시장에 출시 할 수 있습니다. 우리는 NVIDIA와 긴밀히 협력하여 시스템을 미세 조정하고 AI 워크로드에서 리더십 위치를 확보합니다."

Learn more about the new MLPerf v5.0 Inference benchmarks at: https://mlcommons.org/benchmarks/inference-datacenter/

https://mlcommons.org/benchmarks/inference-datacenter/에서 새로운 MLPERF v5.0 추론 벤치 마크에 대해 자세히 알아보십시오.

Supermicro is the only system vendor to publish record MLPerf inference performance (on select benchmarks) for both the air-cooled and liquid-cooled NVIDIA HGX B200 8-GPU systems. Both air-cooled and liquid-cooled systems were operational before the MLCommons benchmark start date. Supermicro engineers optimized the systems and software to showcase the impressive performance.

Supermicro는 공냉식 및 액체 공반 NVIDIA HGX B200 8-GPU 시스템 모두에 대한 레코드 MLPERF 추론 성능 (선택 벤치 마크)을 게시하는 유일한 시스템 공급 업체입니다. MLCommons 벤치 마크 시작 날짜 이전에 공랭식 및 액체 냉각 시스템이 모두 작동했습니다. Supermicro 엔지니어는 시스템과 소프트웨어를 최적화하여 인상적인 성능을 보여줍니다.

Within the operating margin, the Supermicro air-cooled B200 system exhibited the same level of performance as the liquid-cooled B200 system. Supermicro has been delivering these systems to customers while we conducted the benchmarks.

운영 마진 내에서, 슈퍼 미세 공냉식 B200 시스템은 액체 냉각 B200 시스템과 동일한 수준의 성능을 나타냈다. Supermicro는 벤치 마크를 수행하는 동안 이러한 시스템을 고객에게 제공해 왔습니다.

MLCommons emphasizes that all results be reproducible, that the products are available and that the results can be audited by other MLCommons members. Supermicro engineers optimized the systems and software, as allowed by the MLCommons rules.

MLCommons는 모든 결과를 재현 가능하고 제품을 사용할 수 있고 결과는 다른 MLCommons 회원이 감사 할 수 있음을 강조합니다. Supermicro 엔지니어는 MLCommons 규칙에 따라 시스템 및 소프트웨어를 최적화했습니다.

The SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) and SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) showed performance leadership running the Mixtral 8x7B Inference, Mixture of Experts benchmarks with 129,000 tokens/second. The Supermicro air-cooled and liquid-cooled NVIDIA B200 based system delivered over 1,000 tokens/second inference for the large Llama3.1-405b model, whereas the previous generations of GPU systems have much smaller results. For smaller inferencing tasks, using the LLAMA2-70b benchmark, a Supermicro system with the NVIDIA B200 SXM-180GB installed shows the highest performance from a Tier 1 system supplier.

SYS-421GE-NBRT-LCC (8X NVIDIA B200-SXM-180GB) 및 SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB)는 Mixtral 8x7b 추론을 실행하는 성능 리더십, 129,000 개의 토큰/초와의 전문가 벤치 마크를 보여주었습니다. 슈퍼 마이크로 에어 냉각 및 액체 냉각형 NVIDIA B200 기반 시스템은 대형 LLAMA3.1-405B 모델에 대해 1,000 개가 넘는 토큰/두 번째 추론을 전달 한 반면, 이전 세대의 GPU 시스템은 훨씬 작은 결과를 가지고 있습니다. LLAMA2-70B 벤치 마크를 사용하는 소규모 추론 작업의 경우 NVIDIA B200 SXM-180GB가 설치된 슈퍼 마이크로 시스템은 Tier 1 시스템 공급 업체에서 가장 높은 성능을 보여줍니다.

Specifically:

구체적으로:

* The SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) liquid-cooled system achieved the highest performance for the Mixtral 8x7B, Mixture of Experts benchmark, delivering 129,000 tokens/s. It also achieved the highest performance for the Llama3.1-405b benchmark with 1,330 tokens/s.

* SYS-421GE-NBRT-LCC (8X NVIDIA B200-SXM-180GB) 액체 냉각 시스템은 Mixtral 8x7B, 전문가 벤치 마크의 혼합 성능을 달성하여 129,000 개의 토큰을 제공했습니다. 또한 1,330 개의 토큰/s로 LLAMA3.1-405B 벤치 마크에서 가장 높은 성능을 달성했습니다.

* The SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) air-cooled system achieved the highest performance for the Mixtral 8x7B, Mixture of Experts benchmark, delivering 129,000 tokens/s. It achieved the second-highest performance for the Llama3.1-405b benchmark with 1,009 tokens/s.

* SYS-A21GE-NBRT (8X NVIDIA B200-SXM-180GB) 공냉식 시스템은 믹스 트랄 8x7B, 전문가 벤치 마크의 혼합 성능을 달성하여 129,000 개의 토큰을 제공했습니다. 1,009 토큰/s로 LLAMA3.1-405B 벤치 마크에서 두 번째로 높은 성능을 달성했습니다.

* The SYS-110R3-L (8x NVIDIA A200-SXM-80GB) system achieved the highest performance for the BERT Large benchmark.

* SYS-1110R3-L (8X NVIDIA A200-SXM-80GB) 시스템은 Bert 큰 벤치 마크에서 최고 성능을 달성했습니다.

* The SYS-110R3-L (8x NVIDIA A200-SXM-80GB) and SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) systems achieved the highest performance for the DeepLabV3 and REsNet-50 benchmarks.

* SYS-110R3-L (8x NVIDIA A200-SXM-80GB) 및 SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) 시스템은 Deeplabv3 및 RESNET-50 벤치 마크에서 최고 성능을 달성했습니다.

* The SYS-110R3-L (8x NVIDIA A200-SXM-80GB) system achieved the highest performance for the 3D object detection benchmark.

* SYS-1110R3-L (8X NVIDIA A200-SXM-80GB) 시스템은 3D 객체 감지 벤치 마크에서 가장 높은 성능을 달성했습니다.

Supermicro offers a comprehensive AI portfolio with over 100 GPU-optimized systems, both air-cooled and liquid-cooled options

Supermicro