NVIDIA B200을 사용한 Supermicro Systems는 초당 3 배의 토큰 생성을 제공하여 이전 세대 시스템보다 우수했습니다.

AI/ML, HPC, Cloud, Storage 및 5G/Edge를위한 총 IT 솔루션 제공 업체 인 Super Micro Computer, Inc. (SMCI)는 1 대 시장의 선도적 인 성능을 발표하고 있습니다.

Latest Benchmarks Show Supermicro Systems with the NVIDIA B200 Outperformed the Previous Generation of Systems with 3X the Token Generation Per Second

최신 벤치 마크는 NVIDIA B200을 사용하여 Supermicro Systems를 보여줍니다. 초당 3 배의 토큰 생성으로 이전 세대의 시스템보다 성과가 향상되었습니다.

SAN JOSE, Calif., April 3, 2025 /PRNewswire/ -- Super Micro Computer, Inc. (NASDAQ: SMCI), a Total IT Solution Provider for AI/ML, HPC, Cloud, Storage, and 5G/Edge, is announcing first-to-market industry leading performance on several MLPerf Inference v5.0 benchmarks, using the NVIDIA HGX™ B200 8-GPU. The 4U liquid-cooled and 10U air-cooled systems achieved the best performance in select benchmarks. Supermicro demonstrated more than 3 times the tokens per second (Token/s) generation for Llama2-70B and Llama3.1-405B benchmarks compared to H200 8-GPU systems.

San Jose, Calif., 2025 년 4 월 3 일/Prnewswire/-Super Micro Computer, Inc. (NASDAQ : SMCI), AI/ML, HPC, Cloud, Storage 및 5G/Edge의 총 IT 솔루션 제공 업체는 Nvidia HGX v5.0 벤치 마크에서 1 대 마켓 산업을 선도하는 성능을 발표하고 있습니다. 4U 액체 냉각 및 10U 공냉식 시스템은 일부 벤치 마크에서 최고의 성능을 달성했습니다. Supermicro는 H200 8-GPU 시스템과 비교하여 LLAMA2-70B 및 LLAMA3.1-405B 벤치 마크의 초당 토큰 (토큰/S) 생성의 3 배 이상을 시연했습니다.

"Supermicro remains a leader in the AI industry, as evidenced by the first new benchmarks from MLCommons in 2025," said Charles Liang, president and CEO of Supermicro. "Our building block architecture enables us to be first-to-market with a diverse range of systems optimized for various workloads. We continue to collaborate closely with NVIDIA to fine-tune our systems and secure a leadership position in AI workloads."

Supermicro의 사장 겸 CEO 인 Charles Liang은“Supermicro는 2025 년 MLCommons의 최초의 새로운 벤치 마크에서 입증 된 바와 같이 AI 업계의 리더로 남아 있습니다. "우리의 빌딩 블록 아키텍처를 통해 다양한 워크로드에 최적화 된 다양한 시스템을 갖춘 최초의 시장이 될 수 있습니다. 우리는 NVIDIA와 긴밀히 협력하여 시스템을 미세 조정하고 AI 워크로드에서 리더십 위치를 확보합니다."

Learn more about the new MLPerf v5.0 Inference benchmarks at: https://mlcommons.org/benchmarks/inference-datacenter/

https://mlcommons.org/benchmarks/inference-datacenter/에서 새로운 MLPERF v5.0 추론 벤치 마크에 대해 자세히 알아보십시오.

Supermicro is the only system vendor publishing record MLPerf inference performance (on select benchmarks) for both the air-cooled and liquid-cooled NVIDIA HGX™ B200 8-GPU systems. Both air-cooled and liquid-cooled systems were operational before the MLCommons benchmark start date. Supermicro engineers optimized the systems and software to showcase the impressive performance. Within the operating margin, the Supermicro air-cooled B200 system exhibited the same level of performance as the liquid-cooled B200 system. Supermicro has been delivering these systems to customers while we conducted the benchmarks.

Supermicro는 공랭식 및 액체 공랭식 NVIDIA HGX ™ B200 8-GPU 시스템 모두에 대한 유일한 시스템 공급 업체 게시 레코드 MLPERF 추론 성능 (선택 벤치 마크)입니다. MLCommons 벤치 마크 시작 날짜 이전에 공랭식 및 액체 냉각 시스템이 모두 작동했습니다. Supermicro 엔지니어는 시스템과 소프트웨어를 최적화하여 인상적인 성능을 보여줍니다. 운영 마진 내에서, 슈퍼 미세 공냉식 B200 시스템은 액체 냉각 B200 시스템과 동일한 수준의 성능을 나타냈다. Supermicro는 벤치 마크를 수행하는 동안 이러한 시스템을 고객에게 제공해 왔습니다.

MLCommons emphasizes that all results be reproducible, that the products are available and that the results can be audited by other MLCommons members. Supermicro engineers optimized the systems and software, as allowed by the MLCommons rules.

MLCommons는 모든 결과를 재현 가능하고 제품을 사용할 수 있고 결과는 다른 MLCommons 회원이 감사 할 수 있음을 강조합니다. Supermicro 엔지니어는 MLCommons 규칙에 따라 시스템 및 소프트웨어를 최적화했습니다.

The SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) and SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) showed performance leadership running the Mixtral 8x7B Inference, Mixture of Experts benchmarks with 129,000 tokens/second. The Supermicro air-cooled and liquid-cooled NVIDIA B200 based system delivered over 1,000 tokens/second inference for the large Llama3.1-405b model, whereas the previous generations of GPU systems have much smaller results. For smaller inferencing tasks, using the LLAMA2-70b benchmark, a Supermicro system with the NVIDIA B200 SXM-180GB installed shows the highest performance from a Tier 1 system supplier.

SYS-421GE-NBRT-LCC (8X NVIDIA B200-SXM-180GB) 및 SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB)는 Mixtral 8x7b 추론을 실행하는 성능 리더십, 129,000 개의 토큰/초와의 전문가 벤치 마크를 보여주었습니다. 슈퍼 마이크로 에어 냉각 및 액체 냉각형 NVIDIA B200 기반 시스템은 대형 LLAMA3.1-405B 모델에 대해 1,000 개가 넘는 토큰/두 번째 추론을 전달 한 반면, 이전 세대의 GPU 시스템은 훨씬 작은 결과를 가지고 있습니다. LLAMA2-70B 벤치 마크를 사용하는 소규모 추론 작업의 경우 NVIDIA B200 SXM-180GB가 설치된 슈퍼 마이크로 시스템은 Tier 1 시스템 공급 업체에서 가장 높은 성능을 보여줍니다.

Specifically:

구체적으로:

* Supermicro achieved outstanding performance on several MLPerf Inference v5.0 benchmarks with the NVIDIA HGX™ B200 8-GPU in 10U and 4U configurations.

* Supermicro는 10U 및 4U 구성에서 NVIDIA HGX ™ B200 8-GPU를 사용한 여러 MLPERF 추론 v5.0 벤치 마크에서 뛰어난 성능을 달성했습니다.

* In select benchmarks, Supermicro's systems delivered the best performance.

* Select Benchmarks에서 Supermicro의 시스템은 최고의 성능을 제공했습니다.

* Supermicro showcased more than 3x the tokens/second generation for Llama2-70B and Llama3.1-405b benchmarks compared to H200 8-GPU systems.

* Supermicro는 H200 8-GPU 시스템과 비교하여 LLAMA2-70B 및 LLAMA3.1-405B 벤치 마크의 토큰/2 세대 3 배 이상을 선보였습니다.

"MLCommons congratulates Supermicro on their submission to the MLPerf Inference v5.0 benchmark. We are pleased to see their results showcasing significant performance gains compared to earlier generations of systems," said David Kanter, Head of MLPerf at MLCommons. "Customers will be pleased by the performance improvements achieved which are validated by the neutral, representative and reproducible MLPerf results."

MLCOMMONS의 MLPERF 책임자 인 David Kanter는“MLCommons는 MLPERF 추론 v5.0 벤치 마크에 제출 한 SuperMicro를 축하합니다. 우리는 이전 세대의 시스템에 비해 상당한 성능 이득을 보여주는 것을 보게되어 기쁩니다. "고객은 중립, 대표 및 재현 가능한 MLPERF 결과에 의해 검증 된 성능 개선에 기뻐할 것입니다."

Supermicro offers a comprehensive AI portfolio with over 100 GPU-optimized systems, both air-cooled and liquid-cooled options, with a choice of CPUs, ranging from single-socket optimized systems to 8-way multiprocessor systems. Supermicro rack-scale systems include computing, storage, and network components, which reduce the time required to install them once they are delivered to a customer.

Supermicro는 단일 소켓 최적화 시스템에서 8 방향 멀티 프로세서 시스템에 이르기까지 CPU를 선택할 수있는 100 개 이상의 GPU 최적화 시스템을 갖춘 포괄적 인 AI 포트폴리오를 제공합니다. Supermicro Rack-Scale 시스템에는 컴퓨팅, 스토리지 및 네트워크 구성 요소가 포함되어있어 고객에게 배달되면 설치하는 데 필요한 시간이 줄어 듭니다.

Supermicro's NVIDIA HGX B200 8-GPU systems utilize next-generation liquid-cooling and air-cooling technology. The newly developed cold plates and the new 250kW coolant distribution unit (CDU) more than double the cooling capacity of the previous generation in the same 4U form factor. Available in 42U, 48U, or 52U configurations

Supermicro의 NVIDIA HGX B200 8-GPU 시스템은 차세대 액체 냉각 및 공중 냉각 기술을 사용합니다. 새로 개발 된 콜드 플레이트와 새로운 250kW 냉각수 분포 장치 (CDU)는 동일한 4U 폼 팩터에서 이전 세대의 냉각 용량을 두 배 이상 넘었습니다. 42U, 48U 또는 52U 구성으로 제공됩니다