Les jetons sont la nouvelle monnaie de l'intelligence machine

Dans le paysage actuel de l'intelligence artificielle, le jeton est devenu l'unité fondamentale de l'intelligence machine.

Two quick announcements before I jump into today’s post!

Deux annonces rapides avant de passer au post d'aujourd'hui!

One, I will be chatting with Kevin Kelly in my live show tomorrow at 12pm ET / 9am PT on the Substack app. Two, I am speaking at SXSW next week. If you’re there, join me for an Exponential View meet-up.

Premièrement, je discuterai avec Kevin Kelly dans mon émission en direct demain à 12h HE / 9h PT sur l'application Sublack. Deuxièmement, je parle à SXSW la semaine prochaine. Si vous y êtes, rejoignez-moi pour une rencontre de vue exponentielle.

OK, now onto our regular programming.

Ok, maintenant sur notre programmation régulière.

In today’s landscape of artificial intelligence, the token has emerged as the fundamental unit of machine intelligence. Tokens are the building blocks of AI communication—the bite-sized pieces through which humans and machines exchange information. When you type “What is the weather today?”, an AI system breaks this into individual tokens like “What”, “is”, “the”, “weather”, etc., processes them, and then generates new tokens that form its response. Tokens transform your question into something the AI can understand, and the tokens it produces in return represent the machine’s carefully constructed answer.

Dans le paysage actuel de l'intelligence artificielle, le jeton est devenu l'unité fondamentale de l'intelligence machine. Les jetons sont les éléments constitutifs de la communication de l'IA - les pièces de la taille d'une bouchée à travers lesquelles les humains et les machines échangent des informations. Lorsque vous tapez «Quelle est la météo aujourd'hui?», Un système d'IA divise cela en jetons individuels comme «quoi», «est», «le», «météo», etc., les traite, puis génère de nouveaux jetons qui forment sa réponse. Les jetons transforment votre question en quelque chose que l'IA peut comprendre, et les jetons qu'il produit en retour représentent la réponse soigneusement construite de la machine.

Understanding the scale of the token market is incredibly valuable, as this insight provides a clear, intuitive grasp of the market size of the genAI economy.

Comprendre l'ampleur du marché des jetons est incroyablement précieux, car cette perspicacité offre une compréhension claire et intuitive de la taille du marché de l'économie Genai.

It helps estimate the infrastructure necessary to sustain growth, particularly in terms of computing resources like GPUs and other specialized chips. While the initial demand for AI training capabilities fuelled Nvidia’s historic market capitalization surge past $3 trillion in 2024, sustained token usage for inference — representing demand for genAI — will be crucial to maintaining this valuation.

Il aide à estimer l'infrastructure nécessaire pour maintenir la croissance, en particulier en termes de calculs de ressources telles que les GPU et d'autres puces spécialisées. Bien que la demande initiale de capacités de formation en IA ait alimenté la surtension historique de la capitalisation boursière de Nvidia au-delà de 3 billions de dollars en 2024, une utilisation soutenue de jetons pour l'inférence - représentant la demande de Genai - sera cruciale pour maintenir cette évaluation.

But accurately assessing this market, especially in the US, can be challenging. Major technology firms typically remain guarded and reveal only limited information about their actual usage. So analysts often rely on reported revenue figures, which, while helpful, give only partial visibility into true market dynamics.

Mais évaluer avec précision ce marché, en particulier aux États-Unis, peut être difficile. Les grandes entreprises technologiques restent généralement gardées et ne révèlent que des informations limitées sur leur utilisation réelle. Les analystes comptent donc souvent sur des chiffres de revenus signalés, qui, bien que utiles, ne donnent qu'une visibilité partielle à la véritable dynamique du marché.

Now valuable insights have begun to emerge from the Chinese market. Recently disclosed data points from China — like the DeepSeek numbers we referenced in the Monday email — offer a rare glimpse into actual usage patterns. This can help us construct a more comprehensive picture of the global token economy.

Désormais, des idées précieuses ont commencé à émerger du marché chinois. Les points de données récemment divulgués de Chine - comme les chiffres Deepseek que nous avons référencés dans l'e-mail du lundi - offrent un aperçu rare des modèles d'utilisation réels. Cela peut nous aider à construire une image plus complète de l'économie mondiale de jetons.

Software markets commonly exhibit a distinct pattern of concentration: a small number of companies or products tend to massively dominate a given segment or geographic market. Because this dominance is so pronounced, even limited data about the largest players can serve to illuminate the overall structure and size of the market.

Les marchés logiciels présentent généralement un schéma distinct de concentration: un petit nombre d'entreprises ou de produits ont tendance à dominer massivement un segment ou un marché géographique donné. Parce que cette domination est si prononcée, même des données limitées sur les acteurs les plus importantes peuvent servir à éclairer la structure et la taille globales du marché.

Helpfully, this power law dynamic considerably simplifies market analysis. Even a few data points, like those emerging from China, can provide surprising insights into the global AI token economy.

Utilisée, cette dynamique de la loi de puissance simplifie considérablement l'analyse du marché. Même quelques points de données, comme ceux qui émergent de Chine, peuvent fournir des informations surprenantes sur l'économie mondiale des jetons d'IA.

This approach, of course, has notable limitations: it isn’t bottom-up and it captures only a snapshot in time—specifically, the token market from late 2024 to early 2025. However, it helps us understand the scale of the numbers involved and the implications for infrastructure and investment.

Cette approche, bien sûr, a des limitations notables: elle n'est pas ascendante et ne capture qu'un instantané dans le temps - en particulier le marché des jetons de fin 2024 au début de 2025. Cependant, il nous aide à comprendre l'ampleur des chiffres impliqués et les implications pour l'infrastructure et l'investissement.

Over to China

À la Chine

Looking at this particular report, Baidu’s Wenxiaoyan service was delivering 1 trillion tokens per day in August 2024, with API calls having increased 30-fold over one year. Bytedance’s Doubao went over 4 trillion tokens per day following several price cuts, with token usage growing 33 times in a single year.

En regardant ce rapport particulier, le service Wenxiaoyan de Baidu fournissait 1 billion de jetons par jour en août 2024, les appels API ayant augmenté de 30 fois sur un an. Doubao de Bytedance a parcouru plus de 4 billions de jetons par jour après plusieurs baisses de prix, avec une utilisation des jetons augmentant 33 fois en une seule année.

The report also hinted that there were 200 Chinese firms delivering at least 1 billion tokens per day. We know that Doubao sits at 4 trillion per day, while the 200th-ranked firm delivers around a billion tokens per day. DeepSeek recently announced they served 750 billion tokens daily to a diverse range of customers, both domestically and internationally.

Le rapport a également laissé entendre qu'il y avait 200 entreprises chinoises livrant au moins 1 milliard de jetons par jour. Nous savons que Doubao se situe à 4 billions de billions par jour, tandis que l'entreprise classée du 200e offre environ un milliard de jetons par jour. Deepseek a récemment annoncé qu'ils ont servi 750 milliards de jetons par jour à un éventail diversifié de clients, à la fois au niveau national et international.

Using these three data points, we can begin to estimate the market’s overall size. I used a modified Zipf distribution, a discrete probability distribution that follows a power law where the frequency of an element is inversely proportional to its rank. In market analysis, Zipf’s law often manifests when the market share of the nth largest company is approximately proportional to 1/n. I’ve adapted this distribution to account for the specific characteristics of the token market, allowing us to estimate the entire market from limited data points about the largest players.

En utilisant ces trois points de données, nous pouvons commencer à estimer la taille globale du marché. J'ai utilisé une distribution ZIPF modifiée, une distribution de probabilité discrète qui suit une loi de puissance où la fréquence d'un élément est inversement proportionnelle à son rang. Dans l'analyse du marché, la loi de ZIPF se manifeste souvent lorsque la part de marché de la nième plus grande entreprise est approximativement proportionnelle à 1 / n. J'ai adapté cette distribution pour tenir compte des caractéristiques spécifiques du marché des jetons, nous permettant d'estimer l'ensemble du marché à partir de points de données limités sur les plus grands acteurs.

The chart above provides five different distributions of token usage by the largest Chinese genAI firms, ranging from the most concentrated market (orange 🟠) to the least (green 🟢). Each resembles common distribution curves observed in other markets: orange like web search, blue like enterprise software, red like cloud computing and yellow and green like non-technology markets.

Le graphique ci-dessus fournit cinq distributions différentes d'utilisation de jetons par les plus grandes entreprises chinoises du Genai, allant du marché le plus concentré (orange 🟠) au moins (vert 🟢). Chacun ressemble à des courbes de distribution communes observées sur d'autres marchés: une recherche sur le Web comme l'orange, le bleu comme les logiciels d'entreprise, le rouge comme le cloud computing et le jaune et le vert comme les marchés non technologiques.

Summing across all samples allows us to estimate the market’s total size and make educated guesses about market concentration.

La résumé à tous les échantillons nous permet d'estimer la taille totale du marché et de faire des suppositions éduquées sur la concentration du marché.

My best guess is that the Chinese genAI market today might resemble something between the orange and blue curves, with Doubao, Wenxiaoyan and DeepSeek being the largest players. The market might be less concentrated publicly, though probably not significantly below the blue curve.

Ma meilleure supposition est que le marché du Genai chinois aujourd'hui pourrait ressembler à quelque chose entre les courbes orange et bleues, Doubao, Wenxiaoyan et Deepseek étant les plus grands acteurs. Le marché pourrait être moins concentré publiquement, mais probablement pas significativement en dessous de la courbe bleue.

I’ve also built a preview calculator that lets you play around with some of the parameters here. This simplified version isn’

J'ai également construit une calculatrice d'aperçu qui vous permet de jouer avec certains des paramètres ici. Cette version simplifiée n'est pas