Hugging Face が SIGGRAPH 2024 で NVIDIA NIM を活用した Inference-as-a-Service を発表

オープンソース プラットフォームの Hugging Face は、NVIDIA の NIM を活用した Inference-as-a-Service を開発者に提供しています。新しいサービスにより、AI モデルのトークン効率が 5 倍向上し、NVIDIA DGX Cloud 上で実行されている NIM マイクロサービスに即座にアクセスできるようになります。

Open Source platform Hugging Face is now offering developers Inference-as-a-Service that will be powered by NVIDIA’s NIM. The new service provides 5x better token efficiency for AI models and allows immediate access to NIM microservices running on NVIDIA DGX Cloud.

オープンソース プラットフォームの Hugging Face は現在、NVIDIA の NIM を活用した Inference-as-a-Service を開発者に提供しています。新しいサービスにより、AI モデルのトークン効率が 5 倍向上し、NVIDIA DGX クラウド上で実行されている NIM マイクロサービスへの即時アクセスが可能になります。

The new inference-as-a-service was announced at the ongoing SIGGRAPH 2024, a premier conference and exhibition on computer graphics and interactive techniques in Denver, Colorado. The new service will let developers deploy powerful LLMs like Llama 2, Mistral AI models and many more with optimisation from NVIDIA NIM microservices. Hugging Face Enterprise Hub users can access serverless inference for increased flexibility and minimal infrastructure overhead with NVIDIA NIM.

新しい Inference-as-a-Service は、コロラド州デンバーで開催中のコンピューター グラフィックスとインタラクティブ技術に関する主要なカンファレンスおよび展示会である SIGGRAPH 2024 で発表されました。この新しいサービスにより、開発者は NVIDIA NIM マイクロサービスによる最適化を利用して、Llama 2、Mistral AI モデルなどの強力な LLM を展開できるようになります。 Hugging Face Enterprise Hub ユーザーは、NVIDIA NIM を使用してサーバーレス推論にアクセスできるため、柔軟性が向上し、インフラストラクチャのオーバーヘッドが最小限に抑えられます。

When accessed as a NIM, large models like the 70-billion-parameter version of Llama 3 will deliver up to 5x higher throughput when compared with off-the-shelf deployment on NVIDIA H100 Tensor Core GPU-powered systems.

NIM としてアクセスすると、Llama 3 の 700 億パラメータ バージョンのような大規模モデルは、NVIDIA H100 Tensor コア GPU 搭載システムでの既製の展開と比較して、最大 5 倍高いスループットを実現します。

The new inference service also supports Train on DGX Cloud, an AI training service that is already available on Hugging Face.

新しい推論サービスは、Hugging Face ですでに利用可能な AI トレーニング サービスである Train on DGX Cloud もサポートしています。

Enter NVIDIA NIM

NVIDIA NIM に参入

NVIDIA NIM is a set of AI microservices, including NVIDIA AI foundation models and open-source community models, that has been optimised for inference with standard APIs. It improves token processing efficiency and enhances the NVIDIA DGX Cloud infrastructure, accelerating AI applications. This setup provides faster, more robust results.

NVIDIA NIM は、標準 API による推論用に最適化された、NVIDIA AI 基盤モデルやオープンソース コミュニティ モデルを含む AI マイクロサービスのセットです。これにより、トークン処理効率が向上し、NVIDIA DGX クラウド インフラストラクチャが強化され、AI アプリケーションが高速化されます。この設定では、より高速で堅牢な結果が得られます。

The NVIDIA DGX Cloud platform is tailored for generative AI, offering developers reliable, accelerated computing infrastructure for faster production readiness. It supports AI development from prototyping to production without requiring long-term commitments.

NVIDIA DGX クラウド プラットフォームは生成 AI 向けに調整されており、開発者に信頼性の高い高速化されたコンピューティング インフラストラクチャを提供して、より迅速な運用準備を実現します。長期にわたる契約を必要とせずに、プロトタイピングから実稼働までの AI 開発をサポートします。

Hugging Face to the Fore

顔を前に向けて抱きしめる

The new announcement banks on an existing partnership between both tech companies and is only going to foster the developer community further. Interesting recent announcements from Hugging Face include its profitability with a 220-member team and the release of SmolLM, a series of small language models.

この新たな発表は、両テクノロジー企業間の既存のパートナーシップを裏付けるものであり、開発者コミュニティをさらに促進することになるだろう。 Hugging Face による最近の興味深い発表には、220 人のメンバーからなるチームによる収益性と、一連の小規模な言語モデルである SmolLM のリリースが含まれます。