NVIDIA présente les microservices NIM pour l'IA générative au Japon et à Taiwan

Alvin Lang 27 août 2024 02:52 NVIDIA lance des microservices NIM pour prendre en charge l'IA générative au Japon et à Taiwan, en améliorant les modèles linguistiques régionaux et les applications d'IA locales.

NVIDIA has introduced its NIM microservices for generative AI applications in Japan and Taiwan, aiming to bolster regional language models and support the development of本土化generative AI applications.

NVIDIA a introduit ses microservices NIM pour les applications d'IA générative au Japon et à Taiwan, dans le but de renforcer les modèles linguistiques régionaux et de soutenir le développement d'applications d'IA générative.

Announced in an NVIDIA blog post on Saturday, the new microservices are designed to help developers build and deploy generative AI applications that are sensitive to local languages and cultural nuances. The microservices support popular community models, enhancing user interactions through improved understanding and responses based on regional languages and cultural heritage.

Annoncés samedi dans un article du blog NVIDIA, les nouveaux microservices sont conçus pour aider les développeurs à créer et à déployer des applications d'IA génératives sensibles aux langues locales et aux nuances culturelles. Les microservices prennent en charge des modèles communautaires populaires, améliorant les interactions des utilisateurs grâce à une meilleure compréhension et des réponses basées sur les langues régionales et le patrimoine culturel.

According to ABI Research, generative AI software revenue in the Asia-Pacific region is projected to reach $48 billion by 2030, up from $5 billion in 2024. NVIDIA's new microservices are expected to play a significant role in this growth by providing advanced tools for AI development.

Selon ABI Research, les revenus des logiciels d'IA générative dans la région Asie-Pacifique devraient atteindre 48 milliards de dollars d'ici 2030, contre 5 milliards de dollars en 2024. Les nouveaux microservices de NVIDIA devraient jouer un rôle important dans cette croissance en fournissant des outils avancés pour l'IA. développement.

Among the new offerings are the Llama-3-Swallow-70B and Llama-3-Taiwan-70B models, trained on Japanese and Mandarin data respectively. These models are designed to provide a deeper understanding of local laws, regulations, and customs.

Parmi les nouvelles offres figurent les modèles Llama-3-Swallow-70B et Llama-3-Taiwan-70B, formés respectivement sur des données japonaises et mandarines. Ces modèles sont conçus pour fournir une compréhension plus approfondie des lois, réglementations et coutumes locales.

The RakutenAI 7B family of models, built on Mistral-7B, were trained on English and Japanese datasets and are available as NIM microservices for Chat and Instruct functionalities. These models achieved leading average scores among open Japanese large language models in the LM Evaluation Harness benchmark from January to March 2024.

La famille de modèles RakutenAI 7B, construite sur Mistral-7B, a été formée sur des ensembles de données anglais et japonais et est disponible sous forme de microservices NIM pour les fonctionnalités Chat et Instruct. Ces modèles ont obtenu les meilleurs scores moyens parmi les grands modèles de langage japonais ouverts dans le benchmark LM Evaluation Harness de janvier à mars 2024.

Several organizations in Japan and Taiwan are already using NVIDIA's NIM microservices to develop and deploy generative AI applications.

Plusieurs organisations au Japon et à Taiwan utilisent déjà les microservices NIM de NVIDIA pour développer et déployer des applications d'IA générative.

For instance, the Tokyo Institute of Technology has fine-tuned the Llama-3-Swallow 70B model using Japanese-language data. Preferred Networks, a Japanese AI company, is using the model to develop a healthcare-specific AI trained on Japanese medical data, achieving top scores on the Japan National Examination for Physicians.

Par exemple, l’Institut de technologie de Tokyo a affiné le modèle Llama-3-Swallow 70B à l’aide de données en langue japonaise. Preferred Networks, une société japonaise d'IA, utilise ce modèle pour développer une IA spécifique aux soins de santé, formée sur des données médicales japonaises, obtenant les meilleurs scores à l'examen national japonais pour les médecins.

In Taiwan, Chang Gung Memorial Hospital is building a custom AI Inference Service to centrally host LLM applications within the hospital system, using the Llama-3-Taiwan 70B model to improve medical communication. Pegatron, a Taiwan-based electronics manufacturer, is adopting the model for both internal and external applications, integrating it with its PEGAAi Agentic AI System to boost efficiency in manufacturing and operations.

À Taïwan, l'hôpital Chang Gung Memorial construit un service d'inférence d'IA personnalisé pour héberger de manière centralisée les applications LLM au sein du système hospitalier, en utilisant le modèle Llama-3-Taiwan 70B pour améliorer la communication médicale. Pegatron, un fabricant d'électronique basé à Taiwan, adopte ce modèle pour les applications internes et externes, en l'intégrant à son système d'IA agentique PEGAAi pour améliorer l'efficacité de la fabrication et des opérations.

Developers can now deploy these sovereign AI models, packaged as NIM microservices, into production at scale while achieving improved performance. The microservices, available with NVIDIA AI Enterprise, are optimized for inference with the NVIDIA TensorRT-LLM open-source library, providing up to 5x higher throughput and lowering the total cost of running the models in production.

Les développeurs peuvent désormais déployer ces modèles d’IA souverains, regroupés sous forme de microservices NIM, en production à grande échelle tout en améliorant les performances. Les microservices, disponibles avec NVIDIA AI Enterprise, sont optimisés pour l'inférence avec la bibliothèque open source NVIDIA TensorRT-LLM, offrant un débit jusqu'à 5 fois supérieur et réduisant le coût total d'exécution des modèles en production.

The new NIM microservices are available today as hosted application programming interfaces (APIs).

Les nouveaux microservices NIM sont disponibles aujourd'hui sous forme d'interfaces de programmation d'applications (API) hébergées.

To learn more about how NVIDIA NIM can accelerate generative AI outcomes, visit the product page here.

Pour en savoir plus sur la manière dont NVIDIA NIM peut accélérer les résultats de l'IA générative, visitez la page produit ici.

Generative AI models, such as LLMs, have gained popularity for their ability to perform various tasks, including generating text, code, images, and videos. However, deploying these models can be challenging, especially for organizations that require fast and accurate results.

Les modèles d'IA générative, tels que les LLM, ont gagné en popularité en raison de leur capacité à effectuer diverses tâches, notamment la génération de texte, de code, d'images et de vidéos. Cependant, le déploiement de ces modèles peut s'avérer difficile, en particulier pour les organisations qui exigent des résultats rapides et précis.

To address this need, NVIDIA offers a range of solutions, including the NVIDIA AI Enterprise software platform and the NVIDIA AI Registry, that provide security, performance optimization, and centralized management for generative AI models.

Pour répondre à ce besoin, NVIDIA propose une gamme de solutions, notamment la plateforme logicielle NVIDIA AI Enterprise et NVIDIA AI Registry, qui assurent la sécurité, l'optimisation des performances et la gestion centralisée des modèles d'IA génératifs.

With these solutions, organizations can deploy models quickly and efficiently, ensuring optimal performance and reliability for their applications.

Grâce à ces solutions, les organisations peuvent déployer des modèles rapidement et efficacement, garantissant des performances et une fiabilité optimales pour leurs applications.