AI 성능 혁신: Apple과 Nvidia의 언어 모델의 새로운 시대

Apple Inc.와 Nvidia Corporation은 획기적인 협력을 통해 LLM(대형 언어 모델)의 성능을 향상시키기 위해 힘을 합쳤습니다.

Tech giants Apple Inc. and Nvidia Corporation are joining forces to enhance the performance of large language models (LLMs). This partnership will see Apple’s Recurrent Drafter (ReDrafter) technique being integrated with Nvidia’s TensorRT-LLM system to significantly boost text generation speeds.

거대 기술 기업인 Apple Inc.와 Nvidia Corporation이 대규모 언어 모델(LLM)의 성능을 향상시키기 위해 힘을 합쳤습니다. 이 파트너십을 통해 Apple의 ReDrafter(Recurrent Drafter) 기술이 Nvidia의 TensorRT-LLM 시스템과 통합되어 텍스트 생성 속도가 크게 향상될 것입니다.

During the collaboration, Apple’s ReDrafter, a method that combines beam search with dynamic tree attention, will be merged into Nvidia’s TensorRT-LLM. This integration aims to optimize the performance of LLMs on Nvidia GPUs, pushing the boundaries of AI technology.

협업 중에 빔 검색과 동적 트리 주의를 결합하는 방법인 Apple의 ReDrafter가 Nvidia의 TensorRT-LLM에 병합될 예정입니다. 이번 통합은 Nvidia GPU에서 LLM의 성능을 최적화하여 AI 기술의 경계를 넓히는 것을 목표로 합니다.

The merger will also involve adding new operators to enhance TensorRT-LLM’s capability to handle intricate models and their decoding processes. The results of these enhancements are impressive, showing a 2.7x increase in token generation speed for greedy decoding on Nvidia GPUs. This achievement promises to substantially cut down latency and power consumption, offering more efficient computational possibilities.

합병에는 복잡한 모델과 해당 디코딩 프로세스를 처리하는 TensorRT-LLM의 기능을 향상시키기 위해 새로운 연산자를 추가하는 것도 포함됩니다. 이러한 개선의 결과는 인상적이며 Nvidia GPU에서 그리디 디코딩을 위한 토큰 생성 속도가 2.7배 증가한 것으로 나타났습니다. 이 성과는 대기 시간과 전력 소비를 크게 줄여 보다 효율적인 계산 가능성을 제공할 것을 약속합니다.

The advancement holds significant implications, as highlighted by Apple’s machine learning experts, who anticipate reduced computational costs and improved user experiences through lower latency in production environments.

Apple의 기계 학습 전문가가 강조한 바와 같이, 이러한 발전은 생산 환경에서 낮은 대기 시간을 통해 계산 비용을 줄이고 사용자 경험을 향상시킬 것으로 예상하는 것처럼 중요한 의미를 갖습니다.

Financially, both companies are on a high. Apple reported a fourth-quarter revenue of $94.9 billion, outperforming analyst predictions, while Nvidia’s third-quarter revenue shot up by 94% from the previous year to $35.1 billion. Collectively, Apple and Nvidia’s market value hovers around $7 trillion, marking them as pillars in the tech industry.

재정적으로 두 회사 모두 높은 수준에 있습니다. Apple은 4분기 매출이 949억 달러로 분석가 예측을 능가했다고 보고했으며, Nvidia의 3분기 매출은 전년도보다 94% 증가한 351억 달러를 기록했습니다. 전체적으로 Apple과 Nvidia의 시장 가치는 약 7조 달러에 달하며 기술 산업의 기둥으로 자리매김하고 있습니다.