NVIDIA, 일본과 대만에서 생성 AI용 NIM 마이크로서비스 출시

Alvin Lang 2024년 8월 27일 02:52 NVIDIA는 일본과 대만에서 생성 AI를 지원하기 위해 NIM 마이크로서비스를 출시하여 지역 언어 모델과 로컬 AI 애플리케이션을 향상시켰습니다.

NVIDIA has introduced its NIM microservices for generative AI applications in Japan and Taiwan, aiming to bolster regional language models and support the development of本土化generative AI applications.

NVIDIA는 지역 언어 모델을 강화하고 本土化 생성 AI 애플리케이션 개발을 지원하기 위해 일본과 대만에서 생성 AI 애플리케이션을 위한 NIM 마이크로서비스를 도입했습니다.

Announced in an NVIDIA blog post on Saturday, the new microservices are designed to help developers build and deploy generative AI applications that are sensitive to local languages and cultural nuances. The microservices support popular community models, enhancing user interactions through improved understanding and responses based on regional languages and cultural heritage.

토요일 NVIDIA 블로그 게시물에서 발표된 새로운 마이크로서비스는 개발자가 현지 언어와 문화적 차이에 민감한 생성적 AI 애플리케이션을 구축하고 배포하는 데 도움을 주기 위해 설계되었습니다. 마이크로서비스는 인기 있는 커뮤니티 모델을 지원하여 지역 언어와 문화 유산을 기반으로 향상된 이해와 응답을 통해 사용자 상호 작용을 향상합니다.

According to ABI Research, generative AI software revenue in the Asia-Pacific region is projected to reach $48 billion by 2030, up from $5 billion in 2024. NVIDIA's new microservices are expected to play a significant role in this growth by providing advanced tools for AI development.

ABI Research에 따르면 아시아 태평양 지역의 생성적 AI 소프트웨어 수익은 2024년 50억 달러에서 2030년까지 480억 달러에 이를 것으로 예상됩니다. NVIDIA의 새로운 마이크로서비스는 AI를 위한 고급 도구를 제공함으로써 이러한 성장에 중요한 역할을 할 것으로 예상됩니다. 개발.

Among the new offerings are the Llama-3-Swallow-70B and Llama-3-Taiwan-70B models, trained on Japanese and Mandarin data respectively. These models are designed to provide a deeper understanding of local laws, regulations, and customs.

새로운 제품 중에는 각각 일본어 및 중국어 데이터에 대해 훈련된 Llama-3-Swallow-70B 및 Llama-3-Taiwan-70B 모델이 있습니다. 이러한 모델은 현지 법률, 규정 및 관습에 대한 더 깊은 이해를 제공하도록 설계되었습니다.

The RakutenAI 7B family of models, built on Mistral-7B, were trained on English and Japanese datasets and are available as NIM microservices for Chat and Instruct functionalities. These models achieved leading average scores among open Japanese large language models in the LM Evaluation Harness benchmark from January to March 2024.

Mistral-7B를 기반으로 구축된 RakutenAI 7B 모델 제품군은 영어 및 일본어 데이터 세트로 훈련되었으며 채팅 및 교육 기능을 위한 NIM 마이크로서비스로 사용할 수 있습니다. 이러한 모델은 2024년 1월부터 3월까지 LM Evaluation Harness 벤치마크에서 개방형 일본어 대형 언어 모델 중 최고의 평균 점수를 달성했습니다.

Several organizations in Japan and Taiwan are already using NVIDIA's NIM microservices to develop and deploy generative AI applications.

일본과 대만의 여러 조직에서는 이미 NVIDIA의 NIM 마이크로서비스를 사용하여 생성 AI 애플리케이션을 개발하고 배포하고 있습니다.

For instance, the Tokyo Institute of Technology has fine-tuned the Llama-3-Swallow 70B model using Japanese-language data. Preferred Networks, a Japanese AI company, is using the model to develop a healthcare-specific AI trained on Japanese medical data, achieving top scores on the Japan National Examination for Physicians.

예를 들어, Tokyo Institute of Technology는 일본어 데이터를 사용하여 Llama-3-Swallow 70B 모델을 미세 조정했습니다. 일본 AI 기업 프리퍼드 네트웍스(Preferred Networks)는 이 모델을 사용해 일본 의료 데이터를 학습한 헬스케어 전문 AI를 개발하고 있으며, 일본 의사 국가 시험에서 최고 점수를 획득했다.

In Taiwan, Chang Gung Memorial Hospital is building a custom AI Inference Service to centrally host LLM applications within the hospital system, using the Llama-3-Taiwan 70B model to improve medical communication. Pegatron, a Taiwan-based electronics manufacturer, is adopting the model for both internal and external applications, integrating it with its PEGAAi Agentic AI System to boost efficiency in manufacturing and operations.

대만의 Chang Gung Memorial Hospital은 의료 커뮤니케이션을 개선하기 위해 Llama-3-Taiwan 70B 모델을 사용하여 병원 시스템 내에서 LLM 애플리케이션을 중앙에서 호스팅하기 위한 맞춤형 AI 추론 서비스를 구축하고 있습니다. 대만에 본사를 둔 전자 제조업체인 Pegatron은 내부 및 외부 애플리케이션 모두에 이 모델을 채택하고 이를 PEGAAi Agentic AI 시스템과 통합하여 제조 및 운영 효율성을 높이고 있습니다.

Developers can now deploy these sovereign AI models, packaged as NIM microservices, into production at scale while achieving improved performance. The microservices, available with NVIDIA AI Enterprise, are optimized for inference with the NVIDIA TensorRT-LLM open-source library, providing up to 5x higher throughput and lowering the total cost of running the models in production.

이제 개발자는 향상된 성능을 달성하면서 NIM 마이크로서비스로 패키지된 이러한 주권 AI 모델을 대규모 프로덕션에 배포할 수 있습니다. NVIDIA AI Enterprise와 함께 제공되는 마이크로서비스는 NVIDIA TensorRT-LLM 오픈 소스 라이브러리를 통한 추론에 최적화되어 최대 5배 더 높은 처리량을 제공하고 프로덕션에서 모델을 실행하는 데 드는 총 비용을 낮춥니다.

The new NIM microservices are available today as hosted application programming interfaces (APIs).

새로운 NIM 마이크로서비스는 현재 호스팅된 API(애플리케이션 프로그래밍 인터페이스)로 제공됩니다.

To learn more about how NVIDIA NIM can accelerate generative AI outcomes, visit the product page here.

NVIDIA NIM이 생성적 AI 결과를 어떻게 가속화할 수 있는지 자세히 알아보려면 여기에서 제품 페이지를 방문하세요.

Generative AI models, such as LLMs, have gained popularity for their ability to perform various tasks, including generating text, code, images, and videos. However, deploying these models can be challenging, especially for organizations that require fast and accurate results.

LLM과 같은 생성적 AI 모델은 텍스트, 코드, 이미지 및 비디오 생성을 포함한 다양한 작업을 수행하는 능력으로 인기를 얻었습니다. 그러나 특히 빠르고 정확한 결과가 필요한 조직의 경우 이러한 모델을 배포하는 것이 어려울 수 있습니다.

To address this need, NVIDIA offers a range of solutions, including the NVIDIA AI Enterprise software platform and the NVIDIA AI Registry, that provide security, performance optimization, and centralized management for generative AI models.

이러한 요구를 해결하기 위해 NVIDIA는 생성적 AI 모델에 대한 보안, 성능 최적화 및 중앙 집중식 관리를 제공하는 NVIDIA AI Enterprise 소프트웨어 플랫폼 및 NVIDIA AI 레지스트리를 포함한 다양한 솔루션을 제공합니다.

With these solutions, organizations can deploy models quickly and efficiently, ensuring optimal performance and reliability for their applications.

이러한 솔루션을 통해 조직은 모델을 빠르고 효율적으로 배포하여 애플리케이션에 대한 최적의 성능과 안정성을 보장할 수 있습니다.