NVIDIA führt NIM-Microservices für generative KI in Japan und Taiwan ein

Alvin Lang 27. August 2024 02:52 NVIDIA führt NIM-Mikrodienste ein, um generative KI in Japan und Taiwan zu unterstützen und regionale Sprachmodelle und lokale KI-Anwendungen zu verbessern.

NVIDIA has introduced its NIM microservices for generative AI applications in Japan and Taiwan, aiming to bolster regional language models and support the development of本土化generative AI applications.

NVIDIA hat seine NIM-Microservices für generative KI-Anwendungen in Japan und Taiwan eingeführt, mit dem Ziel, regionale Sprachmodelle zu stärken und die Entwicklung generativer KI-Anwendungen zu unterstützen.

Announced in an NVIDIA blog post on Saturday, the new microservices are designed to help developers build and deploy generative AI applications that are sensitive to local languages and cultural nuances. The microservices support popular community models, enhancing user interactions through improved understanding and responses based on regional languages and cultural heritage.

Die neuen Microservices, die am Samstag in einem NVIDIA-Blogbeitrag angekündigt wurden, sollen Entwicklern dabei helfen, generative KI-Anwendungen zu erstellen und bereitzustellen, die auf lokale Sprachen und kulturelle Nuancen Rücksicht nehmen. Die Microservices unterstützen beliebte Community-Modelle und verbessern die Benutzerinteraktionen durch verbessertes Verständnis und Antworten auf der Grundlage regionaler Sprachen und kultureller Traditionen.

According to ABI Research, generative AI software revenue in the Asia-Pacific region is projected to reach $48 billion by 2030, up from $5 billion in 2024. NVIDIA's new microservices are expected to play a significant role in this growth by providing advanced tools for AI development.

Laut ABI Research wird der Umsatz mit generativer KI-Software im asiatisch-pazifischen Raum bis 2030 voraussichtlich 48 Milliarden US-Dollar erreichen, gegenüber 5 Milliarden US-Dollar im Jahr 2024. Es wird erwartet, dass die neuen Microservices von NVIDIA eine wichtige Rolle bei diesem Wachstum spielen, indem sie fortschrittliche Tools für KI bereitstellen Entwicklung.

Among the new offerings are the Llama-3-Swallow-70B and Llama-3-Taiwan-70B models, trained on Japanese and Mandarin data respectively. These models are designed to provide a deeper understanding of local laws, regulations, and customs.

Zu den neuen Angeboten gehören die Modelle Llama-3-Swallow-70B und Llama-3-Taiwan-70B, die auf japanischen bzw. Mandarin-Daten trainiert wurden. Diese Modelle sollen ein tieferes Verständnis der örtlichen Gesetze, Vorschriften und Gepflogenheiten vermitteln.

The RakutenAI 7B family of models, built on Mistral-7B, were trained on English and Japanese datasets and are available as NIM microservices for Chat and Instruct functionalities. These models achieved leading average scores among open Japanese large language models in the LM Evaluation Harness benchmark from January to March 2024.

Die auf Mistral-7B basierende RakutenAI 7B-Modellfamilie wurde anhand englischer und japanischer Datensätze trainiert und ist als NIM-Microservices für Chat- und Instruct-Funktionen verfügbar. Diese Modelle erzielten im LM Evaluation Harness-Benchmark von Januar bis März 2024 die besten Durchschnittswerte unter den offenen japanischen Modellen für große Sprachen.

Several organizations in Japan and Taiwan are already using NVIDIA's NIM microservices to develop and deploy generative AI applications.

Mehrere Organisationen in Japan und Taiwan nutzen bereits die NIM-Microservices von NVIDIA, um generative KI-Anwendungen zu entwickeln und bereitzustellen.

For instance, the Tokyo Institute of Technology has fine-tuned the Llama-3-Swallow 70B model using Japanese-language data. Preferred Networks, a Japanese AI company, is using the model to develop a healthcare-specific AI trained on Japanese medical data, achieving top scores on the Japan National Examination for Physicians.

Beispielsweise hat das Tokyo Institute of Technology das Modell Llama-3-Swallow 70B mithilfe japanischsprachiger Daten verfeinert. Preferred Networks, ein japanisches KI-Unternehmen, nutzt das Modell, um eine gesundheitsspezifische KI zu entwickeln, die auf japanischen medizinischen Daten trainiert wird und bei der japanischen Nationalprüfung für Ärzte Bestnoten erzielt.

In Taiwan, Chang Gung Memorial Hospital is building a custom AI Inference Service to centrally host LLM applications within the hospital system, using the Llama-3-Taiwan 70B model to improve medical communication. Pegatron, a Taiwan-based electronics manufacturer, is adopting the model for both internal and external applications, integrating it with its PEGAAi Agentic AI System to boost efficiency in manufacturing and operations.

In Taiwan baut das Chang Gung Memorial Hospital einen maßgeschneiderten KI-Inferenzdienst auf, um LLM-Anwendungen innerhalb des Krankenhaussystems zentral zu hosten, und nutzt dabei das Modell Llama-3-Taiwan 70B, um die medizinische Kommunikation zu verbessern. Pegatron, ein in Taiwan ansässiger Elektronikhersteller, übernimmt das Modell sowohl für interne als auch externe Anwendungen und integriert es in sein PEGAAi Agentic AI System, um die Effizienz in Fertigung und Betrieb zu steigern.

Developers can now deploy these sovereign AI models, packaged as NIM microservices, into production at scale while achieving improved performance. The microservices, available with NVIDIA AI Enterprise, are optimized for inference with the NVIDIA TensorRT-LLM open-source library, providing up to 5x higher throughput and lowering the total cost of running the models in production.

Entwickler können diese souveränen KI-Modelle, verpackt als NIM-Microservices, nun in großem Maßstab in der Produktion einsetzen und dabei eine verbesserte Leistung erzielen. Die mit NVIDIA AI Enterprise verfügbaren Microservices sind für die Inferenz mit der Open-Source-Bibliothek NVIDIA TensorRT-LLM optimiert, bieten einen bis zu fünfmal höheren Durchsatz und senken die Gesamtkosten für die Ausführung der Modelle in der Produktion.

The new NIM microservices are available today as hosted application programming interfaces (APIs).

Die neuen NIM-Microservices sind ab sofort als gehostete Anwendungsprogrammierschnittstellen (APIs) verfügbar.

To learn more about how NVIDIA NIM can accelerate generative AI outcomes, visit the product page here.

Um mehr darüber zu erfahren, wie NVIDIA NIM generative KI-Ergebnisse beschleunigen kann, besuchen Sie die Produktseite hier.

Generative AI models, such as LLMs, have gained popularity for their ability to perform various tasks, including generating text, code, images, and videos. However, deploying these models can be challenging, especially for organizations that require fast and accurate results.

Generative KI-Modelle wie LLMs erfreuen sich aufgrund ihrer Fähigkeit, verschiedene Aufgaben auszuführen, darunter die Generierung von Text, Code, Bildern und Videos, zunehmender Beliebtheit. Allerdings kann die Bereitstellung dieser Modelle eine Herausforderung darstellen, insbesondere für Unternehmen, die schnelle und genaue Ergebnisse benötigen.

To address this need, NVIDIA offers a range of solutions, including the NVIDIA AI Enterprise software platform and the NVIDIA AI Registry, that provide security, performance optimization, and centralized management for generative AI models.

Um diesem Bedarf gerecht zu werden, bietet NVIDIA eine Reihe von Lösungen an, darunter die NVIDIA AI Enterprise-Softwareplattform und die NVIDIA AI Registry, die Sicherheit, Leistungsoptimierung und zentralisierte Verwaltung für generative KI-Modelle bieten.

With these solutions, organizations can deploy models quickly and efficiently, ensuring optimal performance and reliability for their applications.

Mit diesen Lösungen können Unternehmen Modelle schnell und effizient bereitstellen und so eine optimale Leistung und Zuverlässigkeit ihrer Anwendungen gewährleisten.