NVIDIA B200を備えたスーパーマイクロシステムは、1秒あたり3倍のトークン生成で前世代のシステムを上回ります

カリフォルニア州サンノゼ、2025年4月3日/PRNewswire/ - Super Micro Computer、Inc。（SMCI）、AI/ML、HPC、クラウド、ストレージ、5G/エッジの合計ITソリューションプロバイダー

SAN JOSE, Calif., April 3, 2025 /PRNewswire/ -- Super Micro Computer, Inc. (NASDAQ: SMCI), a leading provider of advanced technology enterprise computing, storage, networking solutions, and a Total IT Solution Provider for Artificial Intelligence (AI) and Machine Learning (ML), today announced first-to-market industry leading performance on several MLPerf Inference v5.0 benchmarks, using the NVIDIA HGX B200 8-GPU. The 4U liquid-cooled and 10U air-cooled systems achieved the best performance in select benchmarks. Supermicro demonstrated more than 3 times the tokens per second (Token/s) generation for Llama2-70B and Llama3.1-405B benchmarks compared to H200 8-GPU systems.

カリフォルニア州サンノゼ、2025年4月3日 / PRNewswire / - Super Micro Computer、Inc。（NASDAQ：SMCI）、先進技術エンタープライズコンピューティング、ストレージ、ネットワーキングソリューション、および人工知能（AI）および機械学習（ML）のTotal ITソリューションプロバイダー（ML）のトータルITソリューションプロバイダーは、MLPERFを使用して、MLPERFを使用しています。 B200 8-GPU。 4Uの液体冷却および10U空冷システムは、選択したベンチマークで最高のパフォーマンスを実現しました。 Supermicroは、H200 8-GPUシステムと比較して、LLAMA2-70BおよびLLAMA3.1-405Bベンチマークの1秒あたり3倍以上のトークン（トークン/s）生成を実証しました。

"Supermicro remains a leader in the AI industry, as evidenced by the first new benchmarks released by MLCommons in 2025," said Charles Liang, president and CEO, Supermicro. "Our building block architecture enables us to be first-to-market with a diverse range of systems optimized for various workloads. We continue to closely collaborate with NVIDIA to fine-tune our systems and secure a leadership position in AI workloads."

「2025年にMLCommonsがリリースした最初の新しいベンチマークから明らかなように、SupermicroはAI業界のリーダーであり続けています」と、Supermicroの社長兼CEOであるCharles Liang氏は述べています。 「当社のビルディングブロックアーキテクチャにより、さまざまなワークロード用に最適化された多様なシステムで最初に市場に出回ることができます。NVIDIAと緊密に協力して、システムを微調整し、AIワークロードでリーダーシップの地位を確保し続けています。」

Learn more about the new MLPerf v5.0 Inference benchmarks at: https://mlcommons.org/benchmarks/inference-datacenter/

新しいMLPERF V5.0推論ベンチマークの詳細については、https：//mlcommons.org/benchmarks/inference-datacenter/

Supermicro is the only system vendor publishing record MLPerf inference performance (on select benchmarks) for both the air-cooled and liquid-cooled NVIDIA HGX B200 8-GPU systems. Both air-cooled and liquid-cooled systems were operational before the MLCommons benchmark start date. Supermicro engineers optimized the systems and software to showcase the impressive performance. Within the operating margin, the Supermicro air-cooled B200 system exhibited the same level of performance as the liquid-cooled B200 system. Supermicro has been delivering these systems to customers while we conducted the benchmarks.

Supermicroは、空冷および液体冷却されたNVIDIA HGX B200 8-GPUシステムの両方の唯一のシステムベンダーパブリッシングレコードMLPERF推論パフォーマンス（一部のベンチマーク）です。空冷システムと液化システムは、MLCommonsベンチマーク開始日の前に運用可能でした。 Supermicroエンジニアは、印象的なパフォーマンスを紹介するためにシステムとソフトウェアを最適化しました。動作マージン内で、スーパーミクロ空冷B200システムは、流動冷却B200システムと同じレベルのパフォーマンスを示しました。 Supermicroは、ベンチマークを実施している間、これらのシステムを顧客に提供してきました。

MLCommons emphasizes that all results be reproducible, that the products are available and that the results can be audited by other MLCommons members. Supermicro engineers optimized the systems and software, as allowed by the MLCommons rules.

MLCommonsは、すべての結果が再現可能であり、製品が利用可能であり、結果が他のMLCommonsメンバーが監査できることを強調しています。 Supermicroエンジニアは、MLCommonsルールで許可されているように、システムとソフトウェアを最適化しました。

The SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) and SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) showed performance leadership running the Mixtral 8x7B Inference, Mixture of Experts benchmarks with 129,000 tokens/second. The Supermicro air-cooled and liquid-cooled NVIDIA B200 based system delivered over 1,000 tokens/second inference for the large Llama3.1-405b model, whereas the previous generations of GPU systems have much smaller results. For smaller inferencing tasks, using the LLAMA2-70b benchmark, a Supermicro system with the NVIDIA B200 SXM-180GB installed shows the highest performance from a Tier 1 system supplier.

SYS-421GE-NBRT-LCC（8X NVIDIA B200-SXM-180GB）およびSYS-A21GE-NBRT（8X NVIDIA B200-SXM-180GB）は、129,000トークン/セカンドとの専門家のベンチマークの混合物、ミックストラル8x7B推論、混合物を実行するパフォーマンスリーダーシップを示しました。 Supermicro Air-Cooled and Liquid-Cooled Nvidia B200ベースのシステムは、大規模なllama3.1-405bモデルに1,000トークン/2番目の推論を提供しましたが、GPUシステムの前世代ははるかに小さくなりました。より小さな推論タスクの場合、Llama2-70Bベンチマークを使用して、NVIDIA B200 SXM-180GBインストールされたスーパーミクロシステムは、Tier 1システムサプライヤーの最高のパフォーマンスを示しています。

Specifically:

具体的には：

* The Supermicro liquid-cooled system SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) achieved the best performance in select benchmarks.

* Supermicro液化システムSYS-421GE-NBRT-LCC（8x NVIDIA B200-SXM-180GB）は、一部のベンチマークで最高のパフォーマンスを達成しました。

* The Supermicro air-cooled system SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) also achieved the best performance in select benchmarks.

* Supermicro Air-Cooled System SYS-A21GE-NBRT（8X NVIDIA B200-SXM-180GB）も、一部のベンチマークで最高のパフォーマンスを達成しました。

* Both systems achieved the best performance in the Mixtral 8x7B Inference, Mixture of Experts benchmarks with 129,000 tokens/second.

*両方のシステムは、Mixtral 8x7B推論で最高のパフォーマンスを達成しました。これは、129,000トークン/秒の専門家ベンチマークの混合物です。

* The Supermicro air-cooled and liquid-cooled NVIDIA B200 based system delivered over 1,000 tokens/second inference for the large Llama3.1-405b model.

*大規模なllama3.1-405bモデルに1,000個以上のトークン/2番目の推論を提供するスーパーミクロ空冷および液体冷却NVIDIA B200ベースのシステム。

* For smaller inferencing tasks, using the LLAMA2-70b benchmark, a Supermicro system with the NVIDIA B200 SXM-180GB installed shows the highest performance from a Tier 1 system supplier.

*より小さな推論タスクの場合、Llama2-70Bベンチマークを使用して、NVIDIA B200 SXM-180GBインストールされたスーパーミクロシステムは、Tier 1システムサプライヤーの最高のパフォーマンスを示しています。

"We at MLCommons are pleased to see results from members demonstrating significant performance gains compared to earlier generations of systems,” said David Kanter, Head of MLPerf at MLCommons. “Customers will be pleased by the performance improvements achieved which are validated by the neutral, representative and reproducible MLPerf results. We encourage members to continue pushing the boundaries of deep learning technology and we look forward to seeing the results of future generations of hardware and software.”

MLCommonsのMLPERFの責任者であるDavid Kanter氏は、次のように述べています。 「顧客は、中立で代表的で再現可能なMLPERFの結果によって検証されたパフォーマンスの改善に満足します。メンバーは、ディープラーニングテクノロジーの境界を押し続けることを奨励し、将来の世代のハードウェアとソフトウェアの結果を見ることを楽しみにしています。」

Supermicro offers a comprehensive AI portfolio with over 100 GPU-optimized systems, both air-cooled and liquid-cooled options, with a choice of CPUs, ranging from single-socket optimized systems to 8-way multiprocessor systems. Supermicro rack-scale systems include computing

Supermicroは、100を超えるGPU最適化システムを備えた包括的なAIポートフォリオを提供します。これは、シングルソケット最適化されたシステムから8ウェイマルチプロセッサシステムまで、CPUを選択した空冷オプションと液化オプションの両方です。スーパーマイクロラックスケールシステムには、コンピューティングが含まれます