Hugging Face stellt Inference-as-a-Service mit NVIDIA NIM auf der SIGGRAPH 2024 vor

Die Open-Source-Plattform Hugging Face bietet Entwicklern Inference-as-a-Service, der auf NVIDIAs NIM basiert. Der neue Dienst bietet eine fünfmal bessere Token-Effizienz für KI-Modelle und ermöglicht den sofortigen Zugriff auf NIM-Mikrodienste, die in der NVIDIA DGX Cloud ausgeführt werden.

Open Source platform Hugging Face is now offering developers Inference-as-a-Service that will be powered by NVIDIA’s NIM. The new service provides 5x better token efficiency for AI models and allows immediate access to NIM microservices running on NVIDIA DGX Cloud.

Die Open-Source-Plattform Hugging Face bietet Entwicklern jetzt Inference-as-a-Service an, das auf NVIDIAs NIM basiert. Der neue Dienst bietet eine fünfmal bessere Token-Effizienz für KI-Modelle und ermöglicht den sofortigen Zugriff auf NIM-Mikrodienste, die in der NVIDIA DGX Cloud ausgeführt werden.

The new inference-as-a-service was announced at the ongoing SIGGRAPH 2024, a premier conference and exhibition on computer graphics and interactive techniques in Denver, Colorado. The new service will let developers deploy powerful LLMs like Llama 2, Mistral AI models and many more with optimisation from NVIDIA NIM microservices. Hugging Face Enterprise Hub users can access serverless inference for increased flexibility and minimal infrastructure overhead with NVIDIA NIM.

Der neue Inference-as-a-Service wurde auf der laufenden SIGGRAPH 2024 angekündigt, einer führenden Konferenz und Ausstellung zu Computergrafik und interaktiven Techniken in Denver, Colorado. Mit dem neuen Dienst können Entwickler leistungsstarke LLMs wie Llama 2, Mistral AI-Modelle und viele mehr mit Optimierung durch NVIDIA NIM-Mikrodienste bereitstellen. Benutzer des Hugging Face Enterprise Hub können mit NVIDIA NIM auf serverlose Inferenz zugreifen, um die Flexibilität zu erhöhen und den Infrastrukturaufwand zu minimieren.

When accessed as a NIM, large models like the 70-billion-parameter version of Llama 3 will deliver up to 5x higher throughput when compared with off-the-shelf deployment on NVIDIA H100 Tensor Core GPU-powered systems.

Beim Zugriff als NIM liefern große Modelle wie die 70-Milliarden-Parameter-Version von Llama 3 einen bis zu fünfmal höheren Durchsatz im Vergleich zur Standardbereitstellung auf NVIDIA H100 Tensor Core GPU-basierten Systemen.

The new inference service also supports Train on DGX Cloud, an AI training service that is already available on Hugging Face.

Der neue Inferenzdienst unterstützt auch Train on DGX Cloud, einen KI-Trainingsdienst, der bereits auf Hugging Face verfügbar ist.

Enter NVIDIA NIM

Geben Sie NVIDIA NIM ein

NVIDIA NIM is a set of AI microservices, including NVIDIA AI foundation models and open-source community models, that has been optimised for inference with standard APIs. It improves token processing efficiency and enhances the NVIDIA DGX Cloud infrastructure, accelerating AI applications. This setup provides faster, more robust results.

NVIDIA NIM ist eine Reihe von KI-Mikrodiensten, einschließlich NVIDIA KI-Grundlagenmodellen und Open-Source-Community-Modellen, die für die Inferenz mit Standard-APIs optimiert wurden. Es verbessert die Effizienz der Token-Verarbeitung und erweitert die NVIDIA DGX Cloud-Infrastruktur, wodurch KI-Anwendungen beschleunigt werden. Dieses Setup liefert schnellere und robustere Ergebnisse.

The NVIDIA DGX Cloud platform is tailored for generative AI, offering developers reliable, accelerated computing infrastructure for faster production readiness. It supports AI development from prototyping to production without requiring long-term commitments.

Die NVIDIA DGX Cloud-Plattform ist auf generative KI zugeschnitten und bietet Entwicklern eine zuverlässige, beschleunigte Recheninfrastruktur für eine schnellere Produktionsbereitschaft. Es unterstützt die KI-Entwicklung vom Prototyping bis zur Produktion, ohne dass langfristige Verpflichtungen erforderlich sind.

Hugging Face to the Fore

Mit dem Gesicht nach vorne umarmen

The new announcement banks on an existing partnership between both tech companies and is only going to foster the developer community further. Interesting recent announcements from Hugging Face include its profitability with a 220-member team and the release of SmolLM, a series of small language models.

Die neue Ankündigung baut auf einer bestehenden Partnerschaft zwischen beiden Technologieunternehmen auf und wird die Entwicklergemeinschaft nur noch weiter fördern. Zu den interessanten jüngsten Ankündigungen von Hugging Face gehören die Rentabilität mit einem 220-köpfigen Team und die Veröffentlichung von SmolLM, einer Reihe kleiner Sprachmodelle.