トークンはマシンインテリジェンスの新しい通貨です

今日の人工知能の風景の中で、トークンは機械知能の基本単位として浮上しています。

Two quick announcements before I jump into today’s post!

今日の投稿に飛び込む前に、2つのクイックアナウンスが発表されました！

One, I will be chatting with Kevin Kelly in my live show tomorrow at 12pm ET / 9am PT on the Substack app. Two, I am speaking at SXSW next week. If you’re there, join me for an Exponential View meet-up.

1つは、明日の午後12時（ET /午前9時）にSubstackアプリでLive ShowでKevin Kellyとチャットする予定です。 2つ目は、来週SXSWで講演しています。あなたがそこにいるなら、私に参加して指数のビューの出会いに参加してください。

OK, now onto our regular programming.

わかりました、今、私たちの通常のプログラミングに取り組んでいます。

In today’s landscape of artificial intelligence, the token has emerged as the fundamental unit of machine intelligence. Tokens are the building blocks of AI communication—the bite-sized pieces through which humans and machines exchange information. When you type “What is the weather today?”, an AI system breaks this into individual tokens like “What”, “is”, “the”, “weather”, etc., processes them, and then generates new tokens that form its response. Tokens transform your question into something the AI can understand, and the tokens it produces in return represent the machine’s carefully constructed answer.

今日の人工知能の風景の中で、トークンは機械知能の基本単位として浮上しています。トークンは、AI通信の構成要素であり、人間と機械が情報を交換する一口サイズの部分です。 「今日の天気は何ですか？」と入力すると、AIシステムはこれを「何」、「IS」、「The」、「天気」などの個々のトークンに分割し、それらを処理し、その応答を形成する新しいトークンを生成します。トークンはあなたの質問をAIが理解できるものに変換し、それが生成するトークンは見返りにマシンの慎重に構築された答えを表します。

Understanding the scale of the token market is incredibly valuable, as this insight provides a clear, intuitive grasp of the market size of the genAI economy.

トークン市場の規模を理解することは非常に貴重です。この洞察は、Genai経済の市場規模を明確で直感的に把握するからです。

It helps estimate the infrastructure necessary to sustain growth, particularly in terms of computing resources like GPUs and other specialized chips. While the initial demand for AI training capabilities fuelled Nvidia’s historic market capitalization surge past $3 trillion in 2024, sustained token usage for inference — representing demand for genAI — will be crucial to maintaining this valuation.

特にGPUやその他の特殊なチップなどのリソースを計算するために、成長を維持するために必要なインフラストラクチャを推定するのに役立ちます。 AIトレーニング能力の初期需要は、2024年に3兆ドルを超えてNvidiaの歴史的時価総額の急増を促進しましたが、この評価を維持するためには、gena​​iの需要を表す推論のための持続的なトークン使用量が不可欠です。

But accurately assessing this market, especially in the US, can be challenging. Major technology firms typically remain guarded and reveal only limited information about their actual usage. So analysts often rely on reported revenue figures, which, while helpful, give only partial visibility into true market dynamics.

しかし、特に米国では、この市場を正確に評価することは挑戦的です。主要なテクノロジー企業は通常、守られたままであり、実際の使用に関する限られた情報のみを明らかにします。そのため、アナリストは報告された収益の数値に依存していることが多く、これは役立ちますが、真の市場のダイナミクスに部分的な可視性のみを与えます。

Now valuable insights have begun to emerge from the Chinese market. Recently disclosed data points from China — like the DeepSeek numbers we referenced in the Monday email — offer a rare glimpse into actual usage patterns. This can help us construct a more comprehensive picture of the global token economy.

現在、貴重な洞察が中国市場から出現し始めています。最近開示された中国からのデータポイントは、月曜日の電子メールで参照したDeepSeekの数字のように、実際の使用パターンをまれに垣間見ることができます。これは、世界のトークン経済のより包括的な写真を構築するのに役立ちます。

Software markets commonly exhibit a distinct pattern of concentration: a small number of companies or products tend to massively dominate a given segment or geographic market. Because this dominance is so pronounced, even limited data about the largest players can serve to illuminate the overall structure and size of the market.

ソフトウェア市場は一般に、明確な集中パターンを示しています。少数の企業または製品は、特定のセグメントまたは地理的市場を大幅に支配する傾向があります。この支配は非常に顕著であるため、最大のプレーヤーに関する限られたデータでさえ、市場の全体的な構造と規模を照らすのに役立ちます。

Helpfully, this power law dynamic considerably simplifies market analysis. Even a few data points, like those emerging from China, can provide surprising insights into the global AI token economy.

役立つと、この電力法は動的に市場分析を大幅に簡素化します。中国から出現しているようないくつかのデータポイントでさえ、世界のAIトークン経済に関する驚くべき洞察を提供できます。

This approach, of course, has notable limitations: it isn’t bottom-up and it captures only a snapshot in time—specifically, the token market from late 2024 to early 2025. However, it helps us understand the scale of the numbers involved and the implications for infrastructure and investment.

もちろん、このアプローチには顕著な制限があります。ボトムアップではなく、特に2024年後半から2025年初頭からトークン市場であるスナップショットのみをキャプチャします。しかし、関係する数字の規模とインフラストラクチャと投資の影響を理解するのに役立ちます。

Over to China

中国まで

Looking at this particular report, Baidu’s Wenxiaoyan service was delivering 1 trillion tokens per day in August 2024, with API calls having increased 30-fold over one year. Bytedance’s Doubao went over 4 trillion tokens per day following several price cuts, with token usage growing 33 times in a single year.

この特定のレポートを見ると、BaiduのWenxiaoyanサービスは、2024年8月に1日あたり1兆トークンを提供し、APIコールは1年で30倍に増加しました。 BytedanceのDoubaoは、いくつかの価格削減の後、1日あたり4兆トークン以上を獲得し、トークンの使用量は1年で33回増加しました。

The report also hinted that there were 200 Chinese firms delivering at least 1 billion tokens per day. We know that Doubao sits at 4 trillion per day, while the 200th-ranked firm delivers around a billion tokens per day. DeepSeek recently announced they served 750 billion tokens daily to a diverse range of customers, both domestically and internationally.

報告書はまた、200人の中国企業が1日あたり少なくとも10億トークンを提供していることを示唆しています。 Doubaoは1日あたり4兆になっている一方で、200位の会社は1日あたり10億トークンを提供しています。 Deepseekは最近、国内および国際的に、毎日7億5,000億トークンを多様な顧客に提供したと発表しました。

Using these three data points, we can begin to estimate the market’s overall size. I used a modified Zipf distribution, a discrete probability distribution that follows a power law where the frequency of an element is inversely proportional to its rank. In market analysis, Zipf’s law often manifests when the market share of the nth largest company is approximately proportional to 1/n. I’ve adapted this distribution to account for the specific characteristics of the token market, allowing us to estimate the entire market from limited data points about the largest players.

これらの3つのデータポイントを使用して、市場の全体的な規模を推定し始めることができます。変更されたZIPF分布を使用しました。これは、要素の頻度がそのランクに反比例する電力法則に従う離散確率分布です。市場分析では、ZIPFの法律は、N番目に大きい企業の市場シェアが1/Nにほぼ比例している場合にしばしば現れます。トークン市場の特定の特性を説明するようにこの分布を調整しました。これにより、最大のプレーヤーに関する限られたデータポイントから市場全体を推定できます。

The chart above provides five different distributions of token usage by the largest Chinese genAI firms, ranging from the most concentrated market (orange 🟠) to the least (green 🟢). Each resembles common distribution curves observed in other markets: orange like web search, blue like enterprise software, red like cloud computing and yellow and green like non-technology markets.

上記のチャートは、最も集中した市場（オレンジ）から最小（緑色）に至るまで、最大の中国のgenai企業によるトークン使用の5つの異なる分布を提供します。それぞれが他の市場で観察される一般的な分布曲線に似ています：ウェブ検索のようにオレンジ色、エンタープライズのような青、クラウドコンピューティングのようなレッド、ノンテクノロジー市場のような黄色と緑。

Summing across all samples allows us to estimate the market’s total size and make educated guesses about market concentration.

すべてのサンプルに合計すると、市場の総規模を推定し、市場の集中について教育を受けた推測を行うことができます。

My best guess is that the Chinese genAI market today might resemble something between the orange and blue curves, with Doubao, Wenxiaoyan and DeepSeek being the largest players. The market might be less concentrated publicly, though probably not significantly below the blue curve.

私の最良の推測では、今日の中国の香水市場はオレンジと青の曲線の間の何かに似ているかもしれないということです。Doubao、Wenxiaoyan、Deepseekが最大のプレーヤーであることです。おそらく青い曲線を大幅に下回っていませんが、市場は公に集中していない可能性があります。

I’ve also built a preview calculator that lets you play around with some of the parameters here. This simplified version isn’

また、ここでいくつかのパラメーターを遊んでもらうことができるプレビュー計算機を作成しました。この簡素化されたバージョンはnn '