Sind LLMs an eine Wand gestoßen? Microsoft-Chef Satya Nadella ging auf der Microsoft Ignite 2024 auf dieses Hot-Button-Problem ein und bot eine erfrischend offene Sicht auf die Diskussion

„Es gibt viele Debatten darüber, ob wir mit den Skalierungsgesetzen an die Wand gestoßen sind. Wird es so weitergehen? Letztlich muss man bedenken, dass es sich hierbei nicht um physikalische Gesetze handelt.“

Microsoft Ignite 2024 saw Microsoft chief Satya Nadella weigh in on the hot-button issue of whether LLMs have hit a wall.

Auf der Microsoft Ignite 2024 äußerte sich Microsoft-Chef Satya Nadella zu der heiklen Frage, ob LLMs an eine Wand gestoßen sind.

“There’s a lot of debate on whether we have hit the wall with scaling laws. Is it going to continue? The thing to remember, at the end of the day, is that these are not physical laws. They are just empirical observations that held true, much like how Moore’s Law did for a long time,” he said.

„Es gibt viele Debatten darüber, ob wir mit den Skalierungsgesetzen an die Wand gestoßen sind. Wird es weitergehen? Letztlich muss man bedenken, dass es sich hierbei nicht um physikalische Gesetze handelt. Es handelt sich lediglich um empirische Beobachtungen, die sich bewahrheiteten, ähnlich wie das Mooresche Gesetz lange Zeit galt“, sagte er.

Nadella welcomed the skepticism and debates, calling them beneficial to push innovation in areas such as model architectures, data regimes, and systems architecture. He also discussed OpenAI’s new scaling law, which focuses on test-time computing, and how it will be integrated into features like Copilot Think Deeper, powered by OpenAI’s o1.

Nadella begrüßte die Skepsis und die Debatten und bezeichnete sie als nützlich, um Innovationen in Bereichen wie Modellarchitekturen, Datenregimen und Systemarchitektur voranzutreiben. Er diskutierte auch das neue Skalierungsgesetz von OpenAI, das sich auf Testzeit-Computing konzentriert, und wie es in Funktionen wie Copilot Think Deeper integriert wird, das auf o1 von OpenAI basiert.

In a recent earnings call, NVIDIA chief Jensen Huang said that OpenAI o1 had introduced a new scaling law called ‘test-time scaling’, which consumed a lot of computing resources. Microsoft is working closely with NVIDIA to scale test-time computing for OpenAI.

In einer kürzlichen Telefonkonferenz zu den Ergebnissen sagte NVIDIA-Chef Jensen Huang, dass OpenAI o1 ein neues Skalierungsgesetz namens „Testzeit-Skalierung“ eingeführt habe, das viele Rechenressourcen verbrauche. Microsoft arbeitet eng mit NVIDIA zusammen, um das Testzeit-Computing für OpenAI zu skalieren.

Nadella emphasized the importance of maximizing value in the most efficient way. “Last month, we introduced new clusters with H200s that became available. We’re very excited about it,” said Nadella. He added that with their stack optimization between H100 and H200, Azure can deliver performance for everything from inference to training.

Nadella betonte, wie wichtig es sei, den Wert auf möglichst effiziente Weise zu maximieren. „Letzten Monat haben wir neue Cluster mit H200 eingeführt, die verfügbar wurden. Wir freuen uns sehr darüber“, sagte Nadella. Er fügte hinzu, dass Azure mit seiner Stack-Optimierung zwischen H100 und H200 Leistung für alles liefern kann, von der Inferenz bis zum Training.

Efficiency Wars: Tokens, Watts, and Dollars

Effizienzkriege: Token, Watt und Dollar

“Tokens per watt plus dollar is the best way to think about the new currency of performance,” said Nadella, adding that Microsoft will continue to build new data center intelligence factories.

„Token pro Watt plus Dollar sind die beste Art, über die neue Leistungswährung nachzudenken“, sagte Nadella und fügte hinzu, dass Microsoft weiterhin neue Rechenzentrums-Intelligence-Fabriken bauen werde.

Nadella introduced a new metric that reflects the efficiency of generating tokens, considering both energy consumption (measured in watts) and cost (measured in dollars). This means that for every unit of energy (watt) used and every dollar spent, a certain number of tokens are produced.

Nadella hat eine neue Metrik eingeführt, die die Effizienz der Token-Generierung widerspiegelt und dabei sowohl den Energieverbrauch (gemessen in Watt) als auch die Kosten (gemessen in Dollar) berücksichtigt. Das bedeutet, dass für jede verbrauchte Energieeinheit (Watt) und jeden ausgegebenen Dollar eine bestimmte Anzahl an Token produziert wird.

Despite the progress, NVIDIA has yet to solve the inferencing challenge. Acknowledging the difficulties involved, Huang shared that their goal is to produce tokens at low latency.

Trotz der Fortschritte muss NVIDIA die Inferenzherausforderung noch lösen. Huang erkannte die damit verbundenen Schwierigkeiten an und teilte mit, dass ihr Ziel darin bestehe, Token mit geringer Latenz zu produzieren.

“Inference is super hard. And the reason…is that you need the accuracy to be high…You need the throughput to be high so that the cost can be as low as possible. But you also need the latency to be low. And computers that are high-throughput and have latency are incredibly hard to build,” he said.

„Inferenz ist super schwer. Und der Grund dafür ist, dass die Genauigkeit hoch sein muss. Der Durchsatz muss hoch sein, damit die Kosten so niedrig wie möglich sein können. Aber Sie müssen auch die Latenz niedrig halten. Und Computer mit hohem Durchsatz und Latenz sind unglaublich schwer zu bauen“, sagte er.

“Our hopes and dreams are that, someday, the world will do a ton of inference,” said Huang, adding that there will be thousands of AI-native start-ups that will generate tokens.

„Unsere Hoffnungen und Träume sind, dass die Welt eines Tages eine Menge Schlussfolgerungen ziehen wird“, sagte Huang und fügte hinzu, dass es Tausende von KI-nativen Start-ups geben wird, die Token generieren werden.

Microsoft also announced the preview of NVIDIA Blackwell AI infrastructure on Azure.

Microsoft kündigte außerdem die Vorschau der NVIDIA Blackwell AI-Infrastruktur auf Azure an.

“Blackwell is

„Blackwell ist