Les LLM ont-ils heurté un mur ? Le chef de Microsoft, Satya Nadella, a abordé ce problème brûlant lors de Microsoft Ignite 2024, offrant une vision rafraîchissante et franche de la discussion.

"Il y a beaucoup de débats pour savoir si nous avons heurté le mur avec les lois d'échelle. Est-ce que cela va continuer ? Ce qu'il faut retenir, en fin de compte, c'est que ce ne sont pas des lois physiques."

Microsoft Ignite 2024 saw Microsoft chief Satya Nadella weigh in on the hot-button issue of whether LLMs have hit a wall.

Microsoft Ignite 2024 a vu le chef de Microsoft, Satya Nadella, intervenir sur la question brûlante de savoir si les LLM ont heurté un mur.

“There’s a lot of debate on whether we have hit the wall with scaling laws. Is it going to continue? The thing to remember, at the end of the day, is that these are not physical laws. They are just empirical observations that held true, much like how Moore’s Law did for a long time,” he said.

« Il y a beaucoup de débats sur la question de savoir si nous avons heurté le mur en matière de mise à l'échelle des lois. Est-ce que ça va continuer ? Ce qu’il faut retenir, en fin de compte, c’est qu’il ne s’agit pas de lois physiques. Ce ne sont que des observations empiriques qui se sont avérées vraies, un peu comme la loi de Moore l'a été pendant longtemps », a-t-il déclaré.

Nadella welcomed the skepticism and debates, calling them beneficial to push innovation in areas such as model architectures, data regimes, and systems architecture. He also discussed OpenAI’s new scaling law, which focuses on test-time computing, and how it will be integrated into features like Copilot Think Deeper, powered by OpenAI’s o1.

Nadella a salué le scepticisme et les débats, les qualifiant de bénéfiques pour promouvoir l'innovation dans des domaines tels que les architectures de modèles, les régimes de données et l'architecture des systèmes. Il a également discuté de la nouvelle loi de mise à l'échelle d'OpenAI, qui se concentre sur le calcul au moment des tests, et de la manière dont elle sera intégrée à des fonctionnalités telles que Copilot Think Deeper, optimisé par o1 d'OpenAI.

In a recent earnings call, NVIDIA chief Jensen Huang said that OpenAI o1 had introduced a new scaling law called ‘test-time scaling’, which consumed a lot of computing resources. Microsoft is working closely with NVIDIA to scale test-time computing for OpenAI.

Lors d'une récente conférence téléphonique sur les résultats, le chef de NVIDIA, Jensen Huang, a déclaré qu'OpenAI o1 avait introduit une nouvelle loi de mise à l'échelle appelée « mise à l'échelle du temps de test », qui consommait beaucoup de ressources informatiques. Microsoft travaille en étroite collaboration avec NVIDIA pour faire évoluer le calcul au moment des tests pour OpenAI.

Nadella emphasized the importance of maximizing value in the most efficient way. “Last month, we introduced new clusters with H200s that became available. We’re very excited about it,” said Nadella. He added that with their stack optimization between H100 and H200, Azure can deliver performance for everything from inference to training.

Nadella a souligné l'importance de maximiser la valeur de la manière la plus efficace. « Le mois dernier, nous avons introduit de nouveaux clusters avec les H200 qui sont devenus disponibles. Nous sommes très excités à ce sujet », a déclaré Nadella. Il a ajouté qu'avec l'optimisation de la pile entre H100 et H200, Azure peut offrir des performances pour tout, de l'inférence à la formation.

Efficiency Wars: Tokens, Watts, and Dollars

Guerres d'efficacité : jetons, watts et dollars

“Tokens per watt plus dollar is the best way to think about the new currency of performance,” said Nadella, adding that Microsoft will continue to build new data center intelligence factories.

"Les jetons par watt plus le dollar sont la meilleure façon d'envisager la nouvelle monnaie de la performance", a déclaré Nadella, ajoutant que Microsoft continuera à construire de nouvelles usines d'intelligence dans les centres de données.

Nadella introduced a new metric that reflects the efficiency of generating tokens, considering both energy consumption (measured in watts) and cost (measured in dollars). This means that for every unit of energy (watt) used and every dollar spent, a certain number of tokens are produced.

Nadella a introduit une nouvelle mesure qui reflète l'efficacité de la génération de jetons, en tenant compte à la fois de la consommation d'énergie (mesurée en watts) et du coût (mesuré en dollars). Cela signifie que pour chaque unité d’énergie (watt) utilisée et chaque dollar dépensé, un certain nombre de jetons sont produits.

Despite the progress, NVIDIA has yet to solve the inferencing challenge. Acknowledging the difficulties involved, Huang shared that their goal is to produce tokens at low latency.

Malgré les progrès, NVIDIA n'a pas encore résolu le défi de l'inférence. Reconnaissant les difficultés impliquées, Huang a déclaré que son objectif était de produire des jetons à faible latence.

“Inference is super hard. And the reason…is that you need the accuracy to be high…You need the throughput to be high so that the cost can be as low as possible. But you also need the latency to be low. And computers that are high-throughput and have latency are incredibly hard to build,” he said.

« L'inférence est extrêmement difficile. Et la raison… c'est que vous avez besoin d'une précision élevée… Vous avez besoin que le débit soit élevé pour que le coût soit aussi bas que possible. Mais il faut aussi que la latence soit faible. Et les ordinateurs à haut débit et dotés d’une latence sont incroyablement difficiles à construire », a-t-il déclaré.

“Our hopes and dreams are that, someday, the world will do a ton of inference,” said Huang, adding that there will be thousands of AI-native start-ups that will generate tokens.

"Nos espoirs et nos rêves sont qu'un jour, le monde fera une tonne d'inférences", a déclaré Huang, ajoutant qu'il y aurait des milliers de start-ups natives de l'IA qui généreraient des jetons.

Microsoft also announced the preview of NVIDIA Blackwell AI infrastructure on Azure.

Microsoft a également annoncé la préversion de l'infrastructure NVIDIA Blackwell AI sur Azure.

“Blackwell is

« Blackwell est