NVIDIA, Llama 3.1-Nemotron-51B 공개: 정확성과 효율성의 도약

NVIDIA의 Llama 3.1-Nemotron-51B는 뛰어난 정확성과 효율성으로 AI 분야의 새로운 벤치마크를 설정하여 단일 GPU에서 높은 워크로드를 지원합니다.

NVIDIA's latest language model, Llama 3.1-Nemotron-51B, sets new standards in AI performance with exceptional accuracy and efficiency. This model marks an advance in scaling LLMs to fit on a single GPU, even under high workloads.

NVIDIA의 최신 언어 모델인 Llama 3.1-Nemotron-51B는 탁월한 정확성과 효율성으로 AI 성능의 새로운 표준을 제시합니다. 이 모델은 높은 워크로드에서도 단일 GPU에 맞게 LLM을 확장하는 데 있어 발전을 보여줍니다.

NVIDIA has unveiled a new language model, dubbed Llama 3.1-Nemotron-51B, promising a leap in AI performance with superior accuracy and efficiency. This model is derived from Meta's Llama-3.1-70B and leverages a novel Neural Architecture Search (NAS) approach to optimize both accuracy and efficiency. Remarkably, this model can fit on a single NVIDIA H100 GPU, even under high workloads, making it more accessible and cost-effective.

NVIDIA는 뛰어난 정확성과 효율성으로 AI 성능의 도약을 약속하는 Llama 3.1-Nemotron-51B라는 새로운 언어 모델을 공개했습니다. 이 모델은 Meta의 Llama-3.1-70B에서 파생되었으며 새로운 NAS(신경 아키텍처 검색) 접근 방식을 활용하여 정확성과 효율성을 모두 최적화합니다. 놀랍게도 이 모델은 작업량이 많은 경우에도 단일 NVIDIA H100 GPU에 적합하므로 접근성이 뛰어나고 비용 효율적입니다.

The Llama 3.1-Nemotron-51B model boasts 2.2 times faster inference speeds while maintaining a nearly identical level of accuracy compared to its predecessors. This efficiency enables 4 times larger workloads on a single GPU during inference, thanks to its reduced memory footprint and optimized architecture.

Llama 3.1-Nemotron-51B 모델은 이전 모델에 비해 거의 동일한 수준의 정확도를 유지하면서 2.2배 빠른 추론 속도를 자랑합니다. 이러한 효율성 덕분에 메모리 공간이 줄어들고 아키텍처가 최적화되어 추론 중에 단일 GPU에서 4배 더 큰 작업 부하를 처리할 수 있습니다.

One of the challenges in adopting large language models (LLMs) is their high inference cost. The Llama 3.1-Nemotron-51B model addresses this by offering a balanced tradeoff between accuracy and efficiency, making it a cost-effective solution for various applications, ranging from edge systems to cloud data centers. This capability is especially useful for deploying multiple models via Kubernetes and NIM blueprints.

대규모 언어 모델(LLM)을 채택할 때의 과제 중 하나는 높은 추론 비용입니다. Llama 3.1-Nemotron-51B 모델은 정확성과 효율성 사이의 균형 잡힌 균형을 제공하여 이를 해결함으로써 엣지 시스템에서 클라우드 데이터 센터에 이르는 다양한 애플리케이션을 위한 비용 효율적인 솔루션을 제공합니다. 이 기능은 Kubernetes 및 NIM 청사진을 통해 여러 모델을 배포하는 데 특히 유용합니다.

The Nemotron model is optimized with TensorRT-LLM engines for higher inference performance and packaged as an NVIDIA NIM inference microservice. This setup simplifies and accelerates the deployment of generative AI models across NVIDIA's accelerated infrastructure, including cloud, data centers, and workstations.

Nemotron 모델은 더 높은 추론 성능을 위해 TensorRT-LLM 엔진으로 최적화되었으며 NVIDIA NIM 추론 마이크로서비스로 패키지되었습니다. 이 설정은 클라우드, 데이터 센터 및 워크스테이션을 포함한 NVIDIA의 가속화된 인프라 전반에 걸쳐 생성 AI 모델의 배포를 단순화하고 가속화합니다.

The Llama 3.1-Nemotron-51B-Instruct model was built using efficient NAS technology and training methods, which enable the creation of non-standard transformer models optimized for specific GPUs. This approach includes a block-distillation framework to train various block variants in parallel, ensuring efficient and accurate inference.

Llama 3.1-Nemotron-51B-Instruct 모델은 효율적인 NAS 기술과 훈련 방법을 사용하여 구축되었으며, 이를 통해 특정 GPU에 최적화된 비표준 변환기 모델을 생성할 수 있습니다. 이 접근 방식에는 다양한 블록 변형을 병렬로 훈련하는 블록 증류 프레임워크가 포함되어 효율적이고 정확한 추론을 보장합니다.

NVIDIA's NAS approach allows users to select their optimal balance between accuracy and efficiency. For instance, the Llama-3.1-Nemotron-40B-Instruct variant was created to prioritize speed and cost, achieving a 3.2 times speed increase compared to the parent model with a moderate decrease in accuracy.

NVIDIA의 NAS 접근 방식을 통해 사용자는 정확성과 효율성 사이에서 최적의 균형을 선택할 수 있습니다. 예를 들어, Llama-3.1-Nemotron-40B-Instruct 변형은 속도와 비용을 우선시하기 위해 만들어졌으며 정확도는 약간 감소하면서 상위 모델에 비해 3.2배 속도 증가를 달성했습니다.

The Llama 3.1-Nemotron-51B-Instruct model has been benchmarked against several industry standards, showcasing its superior performance in various scenarios. It doubles the throughput of the reference model, making it cost-effective across multiple use cases.

Llama 3.1-Nemotron-51B-Instruct 모델은 여러 산업 표준에 대해 벤치마킹되었으며 다양한 시나리오에서 뛰어난 성능을 보여주었습니다. 참조 모델의 처리량을 두 배로 늘려 여러 사용 사례에서 비용 효율성을 높입니다.

The Llama 3.1-Nemotron-51B-Instruct model offers a new set of possibilities for users and companies to leverage highly accurate foundation models cost-effectively. Its balance between accuracy and efficiency makes it an attractive option for builders and highlights the effectiveness of the NAS approach, which NVIDIA aims to extend to other models.

Llama 3.1-Nemotron-51B-Instruct 모델은 사용자와 기업이 매우 정확한 기초 모델을 비용 효율적으로 활용할 수 있는 새로운 가능성을 제공합니다. 정확성과 효율성 사이의 균형은 빌더에게 매력적인 옵션을 제공하며 NVIDIA가 다른 모델로 확장하는 것을 목표로 하는 NAS 접근 방식의 효율성을 강조합니다.