NVIDIA B200이 포함 된 슈퍼 미크로 시스템은 초당 3 배의 토큰 생성으로 이전 세대의 시스템보다 우수합니다.

San Jose, Calif., 2025 년 4 월 3 일/Prnewswire/ - Super Micro Computer, Inc. (SMCI), AI/ML, HPC, Cloud, Storage 및 5G/Edge의 총 IT 솔루션 제공 업체

SAN JOSE, Calif., April 3, 2025 /PRNewswire/ -- Super Micro Computer, Inc. (NASDAQ: SMCI), a leading provider of advanced technology enterprise computing, storage, networking solutions, and a Total IT Solution Provider for Artificial Intelligence (AI) and Machine Learning (ML), today announced first-to-market industry leading performance on several MLPerf Inference v5.0 benchmarks, using the NVIDIA HGX B200 8-GPU. The 4U liquid-cooled and 10U air-cooled systems achieved the best performance in select benchmarks. Supermicro demonstrated more than 3 times the tokens per second (Token/s) generation for Llama2-70B and Llama3.1-405B benchmarks compared to H200 8-GPU systems.

2025 년 4 월 3 일, 캘리포니아 주 산호세 / PRNewswire /-Super Micro Computer, Inc. (NASDAQ : SMCI), 고급 기술 엔터프라이즈 컴퓨팅, 스토리지, 네트워킹 솔루션 및 총 IT 솔루션 제공 업체 인 AI (Atificial Intelligence) 및 머신 러닝 (ML)을위한 최초의 IT 솔루션 공급 업체는 MLPERF 벤치 벤치 (MLPERF)에 대한 최초의 마케트 공연을 발표했습니다. NVIDIA HGX B200 8-GPU. 4U 액체 냉각 및 10U 공냉식 시스템은 일부 벤치 마크에서 최고의 성능을 달성했습니다. Supermicro는 H200 8-GPU 시스템과 비교하여 LLAMA2-70B 및 LLAMA3.1-405B 벤치 마크의 초당 토큰 (토큰/S) 생성의 3 배 이상을 시연했습니다.

"Supermicro remains a leader in the AI industry, as evidenced by the first new benchmarks released by MLCommons in 2025," said Charles Liang, president and CEO, Supermicro. "Our building block architecture enables us to be first-to-market with a diverse range of systems optimized for various workloads. We continue to closely collaborate with NVIDIA to fine-tune our systems and secure a leadership position in AI workloads."

Supermicro의 사장 겸 CEO 인 Charles Liang은“Supermicro는 2025 년 MLCommons가 발표 한 최초의 새로운 벤치 마크가 입증 한 것처럼 AI 업계의 리더로 남아 있습니다. "우리의 빌딩 블록 아키텍처를 통해 다양한 워크로드에 최적화 된 다양한 시스템을 갖춘 최초의 시장이 될 수 있습니다. 우리는 NVIDIA와 긴밀히 협력하여 시스템을 미세 조정하고 AI 워크로드에서 리더십 위치를 확보합니다."

Learn more about the new MLPerf v5.0 Inference benchmarks at: https://mlcommons.org/benchmarks/inference-datacenter/

https://mlcommons.org/benchmarks/inference-datacenter/에서 새로운 MLPERF v5.0 추론 벤치 마크에 대해 자세히 알아보십시오.

Supermicro is the only system vendor publishing record MLPerf inference performance (on select benchmarks) for both the air-cooled and liquid-cooled NVIDIA HGX B200 8-GPU systems. Both air-cooled and liquid-cooled systems were operational before the MLCommons benchmark start date. Supermicro engineers optimized the systems and software to showcase the impressive performance. Within the operating margin, the Supermicro air-cooled B200 system exhibited the same level of performance as the liquid-cooled B200 system. Supermicro has been delivering these systems to customers while we conducted the benchmarks.

Supermicro는 공랭식 및 액체 공랭식 NVIDIA HGX B200 8-GPU 시스템 모두에 대한 유일한 시스템 공급 업체 게시 레코드 MLPERF 추론 성능 (선택 벤치 마크)입니다. MLCommons 벤치 마크 시작 날짜 이전에 공랭식 및 액체 냉각 시스템이 모두 작동했습니다. Supermicro 엔지니어는 시스템과 소프트웨어를 최적화하여 인상적인 성능을 보여줍니다. 운영 마진 내에서, 슈퍼 미세 공냉식 B200 시스템은 액체 냉각 B200 시스템과 동일한 수준의 성능을 나타냈다. Supermicro는 벤치 마크를 수행하는 동안 이러한 시스템을 고객에게 제공해 왔습니다.

MLCommons emphasizes that all results be reproducible, that the products are available and that the results can be audited by other MLCommons members. Supermicro engineers optimized the systems and software, as allowed by the MLCommons rules.

MLCommons는 모든 결과를 재현 가능하고 제품을 사용할 수 있고 결과는 다른 MLCommons 회원이 감사 할 수 있음을 강조합니다. Supermicro 엔지니어는 MLCommons 규칙에 따라 시스템 및 소프트웨어를 최적화했습니다.

The SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) and SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) showed performance leadership running the Mixtral 8x7B Inference, Mixture of Experts benchmarks with 129,000 tokens/second. The Supermicro air-cooled and liquid-cooled NVIDIA B200 based system delivered over 1,000 tokens/second inference for the large Llama3.1-405b model, whereas the previous generations of GPU systems have much smaller results. For smaller inferencing tasks, using the LLAMA2-70b benchmark, a Supermicro system with the NVIDIA B200 SXM-180GB installed shows the highest performance from a Tier 1 system supplier.

SYS-421GE-NBRT-LCC (8X NVIDIA B200-SXM-180GB) 및 SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB)는 Mixtral 8x7b 추론을 실행하는 성능 리더십, 129,000 개의 토큰/초와의 전문가 벤치 마크를 보여주었습니다. 슈퍼 마이크로 에어 냉각 및 액체 냉각형 NVIDIA B200 기반 시스템은 대형 LLAMA3.1-405B 모델에 대해 1,000 개가 넘는 토큰/두 번째 추론을 전달 한 반면, 이전 세대의 GPU 시스템은 훨씬 작은 결과를 가지고 있습니다. LLAMA2-70B 벤치 마크를 사용하는 소규모 추론 작업의 경우 NVIDIA B200 SXM-180GB가 설치된 슈퍼 마이크로 시스템은 Tier 1 시스템 공급 업체에서 가장 높은 성능을 보여줍니다.

Specifically:

구체적으로:

* The Supermicro liquid-cooled system SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) achieved the best performance in select benchmarks.

* Supermicro 액체 냉각 시스템 SYS-421GE-NBRT-LCC (8X NVIDIA B200-SXM-180GB)는 선택 벤치 마크에서 최고의 성능을 달성했습니다.

* The Supermicro air-cooled system SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) also achieved the best performance in select benchmarks.

* Supermicro Air-Cooled System SYS-A21GE-NBRT (8X NVIDIA B200-SXM-180GB)도 Select Benchmarks에서 최고의 성능을 달성했습니다.

* Both systems achieved the best performance in the Mixtral 8x7B Inference, Mixture of Experts benchmarks with 129,000 tokens/second.

* 두 시스템 모두 Mixtral 8x7b 추론에서 최상의 성능을 달성했으며, 129,000 개의 토큰/초의 전문가 벤치 마크 혼합.

* The Supermicro air-cooled and liquid-cooled NVIDIA B200 based system delivered over 1,000 tokens/second inference for the large Llama3.1-405b model.

* Supermicro Air-Cooled 및 Liquide-Cooled Nvidia B200 기반 시스템은 대형 LLAMA3.1-405B 모델에 대해 1,000 개가 넘는 토큰/두 번째 추론을 제공했습니다.

* For smaller inferencing tasks, using the LLAMA2-70b benchmark, a Supermicro system with the NVIDIA B200 SXM-180GB installed shows the highest performance from a Tier 1 system supplier.

* LLAMA2-70B 벤치 마크를 사용하는 소규모 추론 작업의 경우 NVIDIA B200 SXM-180GB가 설치된 슈퍼 마이크로 시스템은 Tier 1 시스템 공급 업체에서 가장 높은 성능을 보여줍니다.

"We at MLCommons are pleased to see results from members demonstrating significant performance gains compared to earlier generations of systems,” said David Kanter, Head of MLPerf at MLCommons. “Customers will be pleased by the performance improvements achieved which are validated by the neutral, representative and reproducible MLPerf results. We encourage members to continue pushing the boundaries of deep learning technology and we look forward to seeing the results of future generations of hardware and software.”

MLCommons의 MLPERF 책임자 인 David Kanter는“MLCommons의 우리는 초기 세대에 비해 상당한 성능 이득을 보여주는 회원들의 결과를 보게되어 기쁘다”고 말했다. "중립, 대표 및 재현 가능한 MLPERF 결과에 의해 검증 된 성능 개선에 고객이 기뻐할 것입니다. 회원들은 딥 러닝 기술의 경계를 계속 추진하도록 권장하며 미래 세대 하드웨어 및 소프트웨어의 결과를 기대합니다."

Supermicro offers a comprehensive AI portfolio with over 100 GPU-optimized systems, both air-cooled and liquid-cooled options, with a choice of CPUs, ranging from single-socket optimized systems to 8-way multiprocessor systems. Supermicro rack-scale systems include computing

Supermicro는 단일 소켓 최적화 시스템에서 8 방향 멀티 프로세서 시스템에 이르기까지 CPU를 선택할 수있는 100 개 이상의 GPU 최적화 시스템을 갖춘 포괄적 인 AI 포트폴리오를 제공합니다. 초 미세 랙 랙 스케일 시스템에는 컴퓨팅이 포함됩니다