Hugging Face, SIGGRAPH 2024에서 NVIDIA NIM 기반 서비스형 추론 공개

오픈 소스 플랫폼 Hugging Face는 개발자에게 NVIDIA의 NIM을 기반으로 하는 서비스형 추론(Inference-as-a-Service)을 제공합니다. 새로운 서비스는 AI 모델에 5배 더 나은 토큰 효율성을 제공하고 NVIDIA DGX Cloud에서 실행되는 NIM 마이크로서비스에 즉시 액세스할 수 있도록 해줍니다.

Open Source platform Hugging Face is now offering developers Inference-as-a-Service that will be powered by NVIDIA’s NIM. The new service provides 5x better token efficiency for AI models and allows immediate access to NIM microservices running on NVIDIA DGX Cloud.

오픈 소스 플랫폼인 Hugging Face는 이제 개발자에게 NVIDIA의 NIM을 기반으로 하는 서비스형 추론(Inference-as-a-Service)을 제공하고 있습니다. 새로운 서비스는 AI 모델에 5배 더 나은 토큰 효율성을 제공하고 NVIDIA DGX Cloud에서 실행되는 NIM 마이크로서비스에 대한 즉각적인 액세스를 허용합니다.

The new inference-as-a-service was announced at the ongoing SIGGRAPH 2024, a premier conference and exhibition on computer graphics and interactive techniques in Denver, Colorado. The new service will let developers deploy powerful LLMs like Llama 2, Mistral AI models and many more with optimisation from NVIDIA NIM microservices. Hugging Face Enterprise Hub users can access serverless inference for increased flexibility and minimal infrastructure overhead with NVIDIA NIM.

새로운 서비스형 추론은 콜로라도주 덴버에서 컴퓨터 그래픽 및 대화형 기술에 관한 최고의 컨퍼런스 및 전시회인 SIGGRAPH 2024에서 발표되었습니다. 새로운 서비스를 통해 개발자는 NVIDIA NIM 마이크로서비스의 최적화를 통해 Llama 2, Mistral AI 모델 등과 같은 강력한 LLM을 배포할 수 있습니다. Hugging Face Enterprise Hub 사용자는 NVIDIA NIM을 통해 서버리스 추론에 액세스하여 유연성을 높이고 인프라 오버헤드를 최소화할 수 있습니다.

When accessed as a NIM, large models like the 70-billion-parameter version of Llama 3 will deliver up to 5x higher throughput when compared with off-the-shelf deployment on NVIDIA H100 Tensor Core GPU-powered systems.

NIM으로 액세스할 경우 Llama 3의 700억 매개변수 버전과 같은 대형 모델은 NVIDIA H100 Tensor Core GPU 기반 시스템의 기성 배포와 비교할 때 최대 5배 더 높은 처리량을 제공합니다.

The new inference service also supports Train on DGX Cloud, an AI training service that is already available on Hugging Face.

새로운 추론 서비스는 이미 Hugging Face에서 사용할 수 있는 AI 교육 서비스인 Train on DGX Cloud도 지원합니다.

Enter NVIDIA NIM

엔비디아 NIM을 입력하세요

NVIDIA NIM is a set of AI microservices, including NVIDIA AI foundation models and open-source community models, that has been optimised for inference with standard APIs. It improves token processing efficiency and enhances the NVIDIA DGX Cloud infrastructure, accelerating AI applications. This setup provides faster, more robust results.

NVIDIA NIM은 표준 API를 통한 추론에 최적화된 NVIDIA AI 기반 모델 및 오픈 소스 커뮤니티 모델을 포함한 AI 마이크로서비스 세트입니다. 토큰 처리 효율성을 향상하고 NVIDIA DGX 클라우드 인프라를 강화하여 AI 애플리케이션을 가속화합니다. 이 설정은 더 빠르고 강력한 결과를 제공합니다.

The NVIDIA DGX Cloud platform is tailored for generative AI, offering developers reliable, accelerated computing infrastructure for faster production readiness. It supports AI development from prototyping to production without requiring long-term commitments.

NVIDIA DGX 클라우드 플랫폼은 생성적 AI에 맞춰져 개발자에게 더 빠른 생산 준비를 위해 안정적이고 가속화된 컴퓨팅 인프라를 제공합니다. 장기적인 노력 없이 프로토타입부터 생산까지 AI 개발을 지원합니다.

Hugging Face to the Fore

얼굴을 앞으로 껴안기

The new announcement banks on an existing partnership between both tech companies and is only going to foster the developer community further. Interesting recent announcements from Hugging Face include its profitability with a 220-member team and the release of SmolLM, a series of small language models.

새로운 발표는 두 기술 회사 간의 기존 파트너십을 기반으로 하며 개발자 커뮤니티를 더욱 육성할 것입니다. Hugging Face의 흥미로운 최근 발표에는 220명으로 구성된 팀의 수익성과 일련의 소규모 언어 모델인 SmolLM 출시가 포함됩니다.