Hugging Face dévoile l'inférence en tant que service optimisée par NVIDIA NIM au SIGGRAPH 2024

La plate-forme Open Source Hugging Face propose aux développeurs une inférence en tant que service qui sera alimentée par le NIM de NVIDIA. Le nouveau service offre une efficacité de jeton 5 fois supérieure pour les modèles d'IA et permet un accès immédiat aux microservices NIM exécutés sur NVIDIA DGX Cloud.

Open Source platform Hugging Face is now offering developers Inference-as-a-Service that will be powered by NVIDIA’s NIM. The new service provides 5x better token efficiency for AI models and allows immediate access to NIM microservices running on NVIDIA DGX Cloud.

La plate-forme Open Source Hugging Face propose désormais aux développeurs une inférence en tant que service qui sera alimentée par le NIM de NVIDIA. Le nouveau service offre une efficacité de jeton 5 fois supérieure pour les modèles d'IA et permet un accès immédiat aux microservices NIM exécutés sur NVIDIA DGX Cloud.

The new inference-as-a-service was announced at the ongoing SIGGRAPH 2024, a premier conference and exhibition on computer graphics and interactive techniques in Denver, Colorado. The new service will let developers deploy powerful LLMs like Llama 2, Mistral AI models and many more with optimisation from NVIDIA NIM microservices. Hugging Face Enterprise Hub users can access serverless inference for increased flexibility and minimal infrastructure overhead with NVIDIA NIM.

La nouvelle inférence en tant que service a été annoncée lors du SIGGRAPH 2024, une conférence et exposition de premier plan sur l'infographie et les techniques interactives à Denver, Colorado. Le nouveau service permettra aux développeurs de déployer de puissants LLM tels que Llama 2, les modèles Mistral AI et bien d'autres avec l'optimisation des microservices NVIDIA NIM. Les utilisateurs de Hugging Face Enterprise Hub peuvent accéder à l'inférence sans serveur pour une flexibilité accrue et une surcharge d'infrastructure minimale avec NVIDIA NIM.

When accessed as a NIM, large models like the 70-billion-parameter version of Llama 3 will deliver up to 5x higher throughput when compared with off-the-shelf deployment on NVIDIA H100 Tensor Core GPU-powered systems.

Lorsqu'ils sont accessibles en tant que NIM, les grands modèles comme la version à 70 milliards de paramètres de Llama 3 offriront un débit jusqu'à 5 fois supérieur à celui d'un déploiement standard sur des systèmes alimentés par GPU NVIDIA H100 Tensor Core.

The new inference service also supports Train on DGX Cloud, an AI training service that is already available on Hugging Face.

Le nouveau service d'inférence prend également en charge Train on DGX Cloud, un service de formation en IA déjà disponible sur Hugging Face.

Enter NVIDIA NIM

Entrez NVIDIA NIM

NVIDIA NIM is a set of AI microservices, including NVIDIA AI foundation models and open-source community models, that has been optimised for inference with standard APIs. It improves token processing efficiency and enhances the NVIDIA DGX Cloud infrastructure, accelerating AI applications. This setup provides faster, more robust results.

NVIDIA NIM est un ensemble de microservices d'IA, comprenant des modèles de base NVIDIA AI et des modèles de communauté open source, optimisés pour l'inférence avec des API standard. Il améliore l'efficacité du traitement des jetons et améliore l'infrastructure NVIDIA DGX Cloud, accélérant ainsi les applications d'IA. Cette configuration fournit des résultats plus rapides et plus robustes.

The NVIDIA DGX Cloud platform is tailored for generative AI, offering developers reliable, accelerated computing infrastructure for faster production readiness. It supports AI development from prototyping to production without requiring long-term commitments.

La plateforme NVIDIA DGX Cloud est conçue pour l'IA générative, offrant aux développeurs une infrastructure informatique fiable et accélérée pour une préparation plus rapide à la production. Il prend en charge le développement de l'IA, du prototypage à la production, sans nécessiter d'engagements à long terme.

Hugging Face to the Fore

Étreindre le visage au premier plan

The new announcement banks on an existing partnership between both tech companies and is only going to foster the developer community further. Interesting recent announcements from Hugging Face include its profitability with a 220-member team and the release of SmolLM, a series of small language models.

La nouvelle annonce s'appuie sur un partenariat existant entre les deux entreprises technologiques et ne fera que favoriser davantage la communauté des développeurs. Les annonces récentes intéressantes de Hugging Face incluent sa rentabilité avec une équipe de 220 membres et la sortie de SmolLM, une série de petits modèles de langage.