NVIDIA が Llama 3.1-Nemotron-51B を発表: 精度と効率が飛躍的に向上

NVIDIA の Llama 3.1-Nemotron-51B は、優れた精度と効率性で AI の新しいベンチマークを設定し、単一の GPU で高いワークロードを可能にします。

NVIDIA's latest language model, Llama 3.1-Nemotron-51B, sets new standards in AI performance with exceptional accuracy and efficiency. This model marks an advance in scaling LLMs to fit on a single GPU, even under high workloads.

NVIDIA の最新言語モデルである Llama 3.1-Nemotron-51B は、卓越した精度と効率性で AI パフォーマンスの新たな基準を打ち立てます。このモデルは、ワークロードが高い場合でも、単一の GPU に適合するように LLM をスケーリングする際の進歩を示しています。

NVIDIA has unveiled a new language model, dubbed Llama 3.1-Nemotron-51B, promising a leap in AI performance with superior accuracy and efficiency. This model is derived from Meta's Llama-3.1-70B and leverages a novel Neural Architecture Search (NAS) approach to optimize both accuracy and efficiency. Remarkably, this model can fit on a single NVIDIA H100 GPU, even under high workloads, making it more accessible and cost-effective.

NVIDIA は、Llama 3.1-Nemotron-51B と呼ばれる新しい言語モデルを発表し、優れた精度と効率による AI パフォーマンスの飛躍を約束しました。このモデルは Meta の Llama-3.1-70B から派生し、新しい Neural Architecture Search (NAS) アプローチを活用して精度と効率の両方を最適化します。注目すべきことに、このモデルはワークロードが高い場合でも単一の NVIDIA H100 GPU に適合し、アクセスしやすくコスト効率が高くなります。

The Llama 3.1-Nemotron-51B model boasts 2.2 times faster inference speeds while maintaining a nearly identical level of accuracy compared to its predecessors. This efficiency enables 4 times larger workloads on a single GPU during inference, thanks to its reduced memory footprint and optimized architecture.

Llama 3.1-Nemotron-51B モデルは、前世代と比較してほぼ同じレベルの精度を維持しながら、2.2 倍速い推論速度を誇ります。この効率性により、メモリ フットプリントの削減と最適化されたアーキテクチャのおかげで、推論中に 1 つの GPU で 4 倍のワークロードが可能になります。

One of the challenges in adopting large language models (LLMs) is their high inference cost. The Llama 3.1-Nemotron-51B model addresses this by offering a balanced tradeoff between accuracy and efficiency, making it a cost-effective solution for various applications, ranging from edge systems to cloud data centers. This capability is especially useful for deploying multiple models via Kubernetes and NIM blueprints.

大規模言語モデル (LLM) を採用する際の課題の 1 つは、推論コストが高いことです。 Llama 3.1-Nemotron-51B モデルは、精度と効率の間のバランスの取れたトレードオフを提供することでこの問題に対処し、エッジ システムからクラウド データ センターに至るまで、さまざまなアプリケーションにとってコスト効率の高いソリューションとなります。この機能は、Kubernetes および NIM ブループリントを介して複数のモデルをデプロイする場合に特に役立ちます。

The Nemotron model is optimized with TensorRT-LLM engines for higher inference performance and packaged as an NVIDIA NIM inference microservice. This setup simplifies and accelerates the deployment of generative AI models across NVIDIA's accelerated infrastructure, including cloud, data centers, and workstations.

Nemotron モデルは、より高い推論パフォーマンスを実現するために TensorRT-LLM エンジンで最適化されており、NVIDIA NIM 推論マイクロサービスとしてパッケージ化されています。このセットアップにより、クラウド、データ センター、ワークステーションなど、NVIDIA の高速化されたインフラストラクチャ全体への生成 AI モデルの展開が簡素化され、加速されます。

The Llama 3.1-Nemotron-51B-Instruct model was built using efficient NAS technology and training methods, which enable the creation of non-standard transformer models optimized for specific GPUs. This approach includes a block-distillation framework to train various block variants in parallel, ensuring efficient and accurate inference.

Llama 3.1-Nemotron-51B-Instruct モデルは、効率的な NAS テクノロジーとトレーニング方法を使用して構築されており、特定の GPU に最適化された非標準のトランスフォーマー モデルの作成を可能にします。このアプローチには、さまざまなブロック バリアントを並行してトレーニングするためのブロック蒸留フレームワークが含まれており、効率的かつ正確な推論を保証します。

NVIDIA's NAS approach allows users to select their optimal balance between accuracy and efficiency. For instance, the Llama-3.1-Nemotron-40B-Instruct variant was created to prioritize speed and cost, achieving a 3.2 times speed increase compared to the parent model with a moderate decrease in accuracy.

NVIDIA の NAS アプローチにより、ユーザーは精度と効率の最適なバランスを選択できます。たとえば、Llama-3.1-Nemotron-40B-Instruct バリアントは速度とコストを優先して作成され、精度は若干低下しますが、親モデルと比較して 3.2 倍の速度向上を達成しました。

The Llama 3.1-Nemotron-51B-Instruct model has been benchmarked against several industry standards, showcasing its superior performance in various scenarios. It doubles the throughput of the reference model, making it cost-effective across multiple use cases.

Llama 3.1-Nemotron-51B-Instruct モデルは、いくつかの業界標準に対してベンチマークされており、さまざまなシナリオで優れたパフォーマンスを示しています。リファレンス モデルのスループットが 2 倍になり、複数のユースケースにわたってコスト効率が高くなります。

The Llama 3.1-Nemotron-51B-Instruct model offers a new set of possibilities for users and companies to leverage highly accurate foundation models cost-effectively. Its balance between accuracy and efficiency makes it an attractive option for builders and highlights the effectiveness of the NAS approach, which NVIDIA aims to extend to other models.

Llama 3.1-Nemotron-51B-Instruct モデルは、ユーザーや企業が高精度の基礎モデルをコスト効率よく活用できる新たな可能性を提供します。精度と効率のバランスが優れているため、ビルダーにとって魅力的な選択肢となっており、NVIDIA が他のモデルへの拡張を目指している NAS アプローチの有効性を際立たせています。