LLM は壁にぶつかりましたか? Microsoft の最高責任者 Satya Nadella は、Microsoft Ignite 2024 でこの注目の課題に取り組み、ディスカッションに対して新鮮かつ率直な見解を示しました

「スケーリングの法則で壁にぶつかったかどうかについては、多くの議論があります。それは今後も続くのでしょうか? 結局のところ、覚えておくべきことは、これらは物理法則ではないということです。」

Microsoft Ignite 2024 saw Microsoft chief Satya Nadella weigh in on the hot-button issue of whether LLMs have hit a wall.

Microsoft Ignite 2024 では、Microsoft の最高経営責任者である Satya Nadella 氏が、LLM が壁にぶつかっているかどうかという注目の問題について意見を述べました。

“There’s a lot of debate on whether we have hit the wall with scaling laws. Is it going to continue? The thing to remember, at the end of the day, is that these are not physical laws. They are just empirical observations that held true, much like how Moore’s Law did for a long time,” he said.

「スケーリング法の壁にぶつかったかどうかについては、多くの議論があります。続きますか？結局のところ、覚えておくべきことは、これらは物理法則ではないということです。これらは、ムーアの法則が長い間続いてきたのと同じように、真実を保った単なる経験的観察にすぎません」と彼は述べた。

Nadella welcomed the skepticism and debates, calling them beneficial to push innovation in areas such as model architectures, data regimes, and systems architecture. He also discussed OpenAI’s new scaling law, which focuses on test-time computing, and how it will be integrated into features like Copilot Think Deeper, powered by OpenAI’s o1.

ナデラ氏は懐疑論や議論を歓迎し、モデルアーキテクチャ、データレジーム、システムアーキテクチャなどの分野でイノベーションを推進するのに有益だと主張した。また、テスト時のコンピューティングに焦点を当てた OpenAI の新しいスケーリング則と、それが OpenAI の o1 を利用した Copilot Think Deeper などの機能にどのように統合されるかについても説明しました。

In a recent earnings call, NVIDIA chief Jensen Huang said that OpenAI o1 had introduced a new scaling law called ‘test-time scaling’, which consumed a lot of computing resources. Microsoft is working closely with NVIDIA to scale test-time computing for OpenAI.

最近の決算発表で、NVIDIA の責任者であるジェンセン フアン氏は、OpenAI o1 が「テスト時スケーリング」と呼ばれる新しいスケーリング法則を導入し、大量のコンピューティング リソースを消費したと述べました。 Microsoft は、NVIDIA と緊密に連携して、OpenAI のテスト時コンピューティングを拡張しています。

Nadella emphasized the importance of maximizing value in the most efficient way. “Last month, we introduced new clusters with H200s that became available. We’re very excited about it,” said Nadella. He added that with their stack optimization between H100 and H200, Azure can deliver performance for everything from inference to training.

ナデラ氏は、最も効率的な方法で価値を最大化することの重要性を強調しました。 「先月、利用可能になった H200 を含む新しいクラスターを導入しました。私たちはそれにとても興奮しています」とナデラ氏は語った。同氏は、Azure は H100 から H200 までのスタック最適化により、推論からトレーニングまであらゆるパフォーマンスを提供できると付け加えました。

Efficiency Wars: Tokens, Watts, and Dollars

効率戦争: トークン、ワット、ドル

“Tokens per watt plus dollar is the best way to think about the new currency of performance,” said Nadella, adding that Microsoft will continue to build new data center intelligence factories.

「ワットとドルあたりのトークンは、パフォーマンスの新しい通貨について考える最良の方法です」とナデラ氏は述べ、マイクロソフトは新しいデータセンターインテリジェンス工場の構築を続けると付け加えた。

Nadella introduced a new metric that reflects the efficiency of generating tokens, considering both energy consumption (measured in watts) and cost (measured in dollars). This means that for every unit of energy (watt) used and every dollar spent, a certain number of tokens are produced.

ナデラ氏は、エネルギー消費量（ワット単位で測定）とコスト（ドル単位で測定）の両方を考慮して、トークン生成の効率を反映する新しい指標を導入しました。これは、使用されるエネルギー単位 (ワット) ごと、および費やされる 1 ドルごとに、一定数のトークンが生成されることを意味します。

Despite the progress, NVIDIA has yet to solve the inferencing challenge. Acknowledging the difficulties involved, Huang shared that their goal is to produce tokens at low latency.

進歩にもかかわらず、NVIDIA は推論の課題をまだ解決していません。 Huang 氏は、それに伴う困難を認識しつつ、彼らの目標は低レイテンシーでトークンを生成することであると共有しました。

“Inference is super hard. And the reason…is that you need the accuracy to be high…You need the throughput to be high so that the cost can be as low as possible. But you also need the latency to be low. And computers that are high-throughput and have latency are incredibly hard to build,” he said.

「推理ってすごく難しいんです。その理由は、高い精度が必要であるためです。コストをできるだけ低く抑えるために、高いスループットが必要です。ただし、レイテンシーを低くすることも必要です。そして、高スループットで遅延のあるコンピューターを構築するのは信じられないほど困難です」と彼は言いました。

“Our hopes and dreams are that, someday, the world will do a ton of inference,” said Huang, adding that there will be thousands of AI-native start-ups that will generate tokens.

「私たちの希望と夢は、いつか世界が大量の推論を行うようになるということです」とフアン氏は述べ、トークンを生成するAIネイティブの新興企業が何千社も現れるだろうと付け加えた。

Microsoft also announced the preview of NVIDIA Blackwell AI infrastructure on Azure.

Microsoft は、Azure 上の NVIDIA Blackwell AI インフラストラクチャのプレビューも発表しました。

“Blackwell is

「ブラックウェルは