NVIDIA GH200 NVL32: 실시간 AI 애플리케이션을 위한 최초 토큰 도달 시간 성능 혁신

NVIDIA의 최신 GH200 NVL32 시스템은 Llama 3.1 및 3.2와 같은 LLM(대형 언어 모델)의 증가하는 요구 사항을 해결하면서 TTFT(Time-To-First Token) 성능의 놀라운 도약을 보여줍니다.

NVIDIA's latest GH200 NVL32 system demonstrates a remarkable leap in time-to-first-token (TTFT) performance, addressing the growing needs of large language models (LLMs) such as Llama 3.1 and 3.2. According to the NVIDIA Technical Blog, this system is set to significantly impact real-time applications like interactive speech bots and coding assistants.

NVIDIA의 최신 GH200 NVL32 시스템은 Llama 3.1 및 3.2와 같은 LLM(대형 언어 모델)의 증가하는 요구 사항을 해결하면서 TTFT(Time-To-First Token) 성능의 놀라운 도약을 보여줍니다. NVIDIA 기술 블로그에 따르면 이 시스템은 대화형 음성 봇 및 코딩 도우미와 같은 실시간 애플리케이션에 큰 영향을 미칠 것으로 설정되었습니다.

TTFT is the time it takes for an LLM to process a user prompt and begin generating a response. As LLMs grow in complexity, with models like Llama 3.1 now featuring hundreds of billions of parameters, the need for faster TTFT becomes critical. This is particularly true for applications requiring immediate responses, such as AI-driven customer support and digital assistants.

TTFT는 LLM이 사용자 프롬프트를 처리하고 응답 생성을 시작하는 데 걸리는 시간입니다. Llama 3.1과 같은 모델이 이제 수천억 개의 매개변수를 포함하여 LLM이 복잡해짐에 따라 더 빠른 TTFT의 필요성이 중요해졌습니다. 이는 AI 기반 고객 지원 및 디지털 도우미와 같이 즉각적인 응답이 필요한 애플리케이션의 경우 특히 그렇습니다.

NVIDIA's GH200 NVL32 system, powered by 32 NVIDIA GH200 Grace Hopper Superchips and connected via the NVLink Switch system, is designed to meet these demands. The system leverages TensorRT-LLM improvements to deliver outstanding TTFT for long-context inference, making it ideal for the latest Llama 3.1 models.

32개의 NVIDIA GH200 Grace Hopper Superchip으로 구동되고 NVLink 스위치 시스템을 통해 연결된 NVIDIA의 GH200 NVL32 시스템은 이러한 요구 사항을 충족하도록 설계되었습니다. 이 시스템은 TensorRT-LLM 개선 사항을 활용하여 긴 컨텍스트 추론을 위한 뛰어난 TTFT를 제공하므로 최신 Llama 3.1 모델에 이상적입니다.

Applications like AI speech bots and digital assistants require TTFT in the range of a few hundred milliseconds to simulate natural, human-like conversations. For instance, a TTFT of half a second is significantly more user-friendly than a TTFT of five seconds. Fast TTFT is particularly crucial for services that rely on up-to-date information, such as agentic workflows that use Retrieval-Augmented Generation (RAG) to enhance LLM prompts with relevant data.

AI 음성 봇 및 디지털 비서와 같은 애플리케이션에서는 인간과 같은 자연스러운 대화를 시뮬레이션하기 위해 수백 밀리초 범위의 TTFT가 필요합니다. 예를 들어 0.5초의 TTFT는 5초의 TTFT보다 훨씬 더 사용자 친화적입니다. 빠른 TTFT는 RAG(Retrieval-Augmented Generation)를 사용하여 관련 데이터로 LLM 프롬프트를 향상시키는 에이전트 워크플로와 같이 최신 정보에 의존하는 서비스에 특히 중요합니다.

The NVIDIA GH200 NVL32 system achieves the fastest published TTFT for Llama 3.1 models, even with extensive context lengths. This performance is essential for real-time applications that demand quick and accurate responses.

NVIDIA GH200 NVL32 시스템은 광범위한 컨텍스트 길이에서도 Llama 3.1 모델에 대해 게시된 가장 빠른 TTFT를 달성합니다. 이러한 성능은 빠르고 정확한 응답을 요구하는 실시간 애플리케이션에 필수적입니다.

The GH200 NVL32 system connects 32 NVIDIA GH200 Grace Hopper Superchips, each combining an NVIDIA Grace CPU and an NVIDIA Hopper GPU via NVLink-C2C. This setup allows for high-bandwidth, low-latency communication, essential for minimizing synchronization time and maximizing compute performance. The system delivers up to 127 petaFLOPs of peak FP8 AI compute, significantly reducing TTFT for demanding models with long contexts.

GH200 NVL32 시스템은 NVLink-C2C를 통해 각각 NVIDIA Grace CPU와 NVIDIA Hopper GPU를 결합하는 32개의 NVIDIA GH200 Grace Hopper 슈퍼칩을 연결합니다. 이 설정을 사용하면 동기화 시간을 최소화하고 컴퓨팅 성능을 최대화하는 데 필수적인 고대역폭, 저지연 통신이 가능합니다. 이 시스템은 최대 127페타플롭의 최대 FP8 AI 컴퓨팅을 제공하여 긴 컨텍스트가 있는 까다로운 모델의 TTFT를 크게 줄입니다.

For example, the system can achieve a TTFT of just 472 milliseconds for Llama 3.1 70B with an input sequence length of 32,768 tokens. Even for more complex models like Llama 3.1 405B, the system provides a TTFT of about 1.6 seconds using a 32,768-token input.

예를 들어 시스템은 입력 시퀀스 길이가 32,768개 토큰인 Llama 3.1 70B에 대해 단 472밀리초의 TTFT를 달성할 수 있습니다. Llama 3.1 405B와 같은 더 복잡한 모델의 경우에도 시스템은 32,768 토큰 입력을 사용하여 약 1.6초의 TTFT를 제공합니다.

Inference continues to be a hotbed of innovation, with advancements in serving techniques, runtime optimizations, and more. Techniques like in-flight batching, speculative decoding, and FlashAttention are enabling more efficient and cost-effective deployments of powerful AI models.

추론은 서비스 기술, 런타임 최적화 등의 발전을 통해 계속해서 혁신의 온상이 되고 있습니다. 기내 일괄 처리, 추측적 디코딩, FlashAttention과 같은 기술을 통해 강력한 AI 모델을 보다 효율적이고 비용 효과적으로 배포할 수 있습니다.

NVIDIA's accelerated computing platform, supported by a vast ecosystem of developers and a broad installed base of GPUs, is at the forefront of these innovations. The platform's compatibility with the CUDA programming model and deep engagement with the developer community ensure rapid advancements in AI capabilities.

광범위한 개발자 생태계와 광범위한 GPU 설치 기반이 지원하는 NVIDIA의 가속 컴퓨팅 플랫폼은 이러한 혁신의 최전선에 있습니다. CUDA 프로그래밍 모델과 플랫폼의 호환성 및 개발자 커뮤니티와의 긴밀한 참여를 통해 AI 기능의 빠른 발전을 보장합니다.

Looking ahead, the NVIDIA Blackwell GB200 NVL72 platform promises even greater advancements. With second-generation Transformer Engine and fifth-generation Tensor Cores, Blackwell delivers up to 20 petaFLOPs of FP4 AI compute, significantly enhancing performance. The platform's fifth-generation NVLink provides 1,800 GB/s of GPU-to-GPU bandwidth, expanding the NVLink domain to 72 GPUs.

앞으로 NVIDIA Blackwell GB200 NVL72 플랫폼은 훨씬 더 큰 발전을 약속합니다. 2세대 Transformer Engine과 5세대 Tensor 코어를 통해 Blackwell은 최대 20페타플롭스의 FP4 AI 컴퓨팅을 제공하여 성능을 크게 향상시킵니다. 플랫폼의 5세대 NVLink는 1,800GB/s의 GPU-GPU 대역폭을 제공하여 NVLink 도메인을 72개의 GPU로 확장합니다.

As AI models continue to grow and agentic workflows become more prevalent, the need for high-performance, low-latency computing solutions like the GH200 NVL32 and Blackwell GB200 NVL72 will only increase. NVIDIA's ongoing innovations ensure that the company remains at the forefront of AI and accelerated computing.

AI 모델이 계속 성장하고 에이전트 워크플로우가 더욱 보편화됨에 따라 GH200 NVL32 및 Blackwell GB200 NVL72와 같은 고성능, 저지연 컴퓨팅 솔루션에 대한 필요성은 더욱 커질 것입니다. NVIDIA는 지속적인 혁신을 통해 회사가 AI 및 가속 컴퓨팅 분야에서 선두를 유지할 수 있도록 보장합니다.