LLM이 벽에 부딪혔나요? Microsoft 수석 Satya Nadella는 Microsoft Ignite 2024에서 이 핫 버튼 문제를 다루며 토론에 대한 상쾌하고 솔직한 견해를 제시했습니다.

"우리가 스케일링 법칙의 벽에 부딪혔는지 여부에 대해 많은 논쟁이 있습니다. 그것이 계속될 것입니까? 결국 기억해야 할 것은 이것이 물리적 법칙이 아니라는 것입니다."

Microsoft Ignite 2024 saw Microsoft chief Satya Nadella weigh in on the hot-button issue of whether LLMs have hit a wall.

Microsoft Ignite 2024에서는 Microsoft 수석 Satya Nadella가 LLM이 벽에 부딪혔는지 여부에 대한 긴급 문제에 대해 언급했습니다.

“There’s a lot of debate on whether we have hit the wall with scaling laws. Is it going to continue? The thing to remember, at the end of the day, is that these are not physical laws. They are just empirical observations that held true, much like how Moore’s Law did for a long time,” he said.

“우리가 확장 법칙의 한계에 부딪혔는지 여부에 대해 많은 논쟁이 있습니다. 계속될 예정인가요? 결국 기억해야 할 점은 이것이 물리적 법칙이 아니라는 것입니다. 이는 무어의 법칙이 오랫동안 그랬던 것처럼 사실로 입증된 경험적 관찰일 뿐입니다.”라고 그는 말했습니다.

Nadella welcomed the skepticism and debates, calling them beneficial to push innovation in areas such as model architectures, data regimes, and systems architecture. He also discussed OpenAI’s new scaling law, which focuses on test-time computing, and how it will be integrated into features like Copilot Think Deeper, powered by OpenAI’s o1.

Nadella는 회의론과 논쟁을 환영하며 모델 아키텍처, 데이터 체제 및 시스템 아키텍처와 같은 영역에서 혁신을 추진하는 데 유익하다고 말했습니다. 그는 또한 테스트 시간 컴퓨팅에 초점을 맞춘 OpenAI의 새로운 확장 법칙과 이것이 OpenAI의 o1을 기반으로 하는 Copilot Think Deeper와 같은 기능에 통합되는 방법에 대해 논의했습니다.

In a recent earnings call, NVIDIA chief Jensen Huang said that OpenAI o1 had introduced a new scaling law called ‘test-time scaling’, which consumed a lot of computing resources. Microsoft is working closely with NVIDIA to scale test-time computing for OpenAI.

최근 실적 발표에서 NVIDIA의 Jensen Huang 대표는 OpenAI o1이 많은 컴퓨팅 리소스를 소비하는 '테스트 시간 스케일링'이라는 새로운 스케일링 법칙을 도입했다고 밝혔습니다. Microsoft는 OpenAI용 테스트 시간 컴퓨팅을 확장하기 위해 NVIDIA와 긴밀히 협력하고 있습니다.

Nadella emphasized the importance of maximizing value in the most efficient way. “Last month, we introduced new clusters with H200s that became available. We’re very excited about it,” said Nadella. He added that with their stack optimization between H100 and H200, Azure can deliver performance for everything from inference to training.

나델라는 가장 효율적인 방법으로 가치를 극대화하는 것이 중요하다고 강조했습니다. “지난 달 우리는 H200을 갖춘 새로운 클러스터를 출시했습니다. 우리는 그것에 대해 매우 기대하고 있습니다.”라고 Nadella는 말했습니다. 그는 H100과 H200 사이의 스택 최적화를 통해 Azure가 추론부터 교육까지 모든 것에 대한 성능을 제공할 수 있다고 덧붙였습니다.

Efficiency Wars: Tokens, Watts, and Dollars

효율성 전쟁: 토큰, 와트, 달러

“Tokens per watt plus dollar is the best way to think about the new currency of performance,” said Nadella, adding that Microsoft will continue to build new data center intelligence factories.

Nadella는 "와트당 토큰에 달러를 더한 것이 성능의 새로운 통화에 대해 생각하는 가장 좋은 방법입니다"라고 말하면서 Microsoft는 계속해서 새로운 데이터 센터 인텔리전스 공장을 건설할 것이라고 덧붙였습니다.

Nadella introduced a new metric that reflects the efficiency of generating tokens, considering both energy consumption (measured in watts) and cost (measured in dollars). This means that for every unit of energy (watt) used and every dollar spent, a certain number of tokens are produced.

Nadella는 에너지 소비(와트 단위로 측정)와 비용(달러 단위로 측정)을 모두 고려하여 토큰 생성 효율성을 반영하는 새로운 측정 기준을 도입했습니다. 이는 사용된 모든 에너지 단위(와트)와 지출된 모든 달러에 대해 특정 수의 토큰이 생성된다는 것을 의미합니다.

Despite the progress, NVIDIA has yet to solve the inferencing challenge. Acknowledging the difficulties involved, Huang shared that their goal is to produce tokens at low latency.

이러한 진전에도 불구하고 NVIDIA는 아직 추론 문제를 해결하지 못했습니다. 관련된 어려움을 인정하면서 Huang은 그들의 목표가 짧은 대기 시간에 토큰을 생성하는 것이라고 공유했습니다.

“Inference is super hard. And the reason…is that you need the accuracy to be high…You need the throughput to be high so that the cost can be as low as possible. But you also need the latency to be low. And computers that are high-throughput and have latency are incredibly hard to build,” he said.

“추론은 정말 어렵습니다. 그리고 그 이유는… 정확도가 높아야 하기 때문입니다… 비용을 최대한 낮추려면 처리량이 높아야 합니다. 하지만 지연 시간도 낮아야 합니다. 그리고 처리량이 높고 대기 시간이 있는 컴퓨터는 구축하기가 엄청나게 어렵습니다.”라고 그는 말했습니다.

“Our hopes and dreams are that, someday, the world will do a ton of inference,” said Huang, adding that there will be thousands of AI-native start-ups that will generate tokens.

황은 “언젠가는 세상이 수많은 추론을 하게 될 것이라는 희망과 꿈이 있다”며 토큰을 생성할 수천 개의 AI 기반 스타트업이 있을 것이라고 덧붙였다.

Microsoft also announced the preview of NVIDIA Blackwell AI infrastructure on Azure.

Microsoft는 또한 Azure에서 NVIDIA Blackwell AI 인프라의 미리 보기를 발표했습니다.

“Blackwell is

“블랙웰은