토큰은 기계 인텔리전스의 새로운 통화입니다

오늘날의 인공 지능 환경에서 토큰은 기계 인텔리전스의 기본 단위로 등장했습니다.

Two quick announcements before I jump into today’s post!

오늘 게시물에 뛰어 들기 전에 두 번의 빠른 발표!

One, I will be chatting with Kevin Kelly in my live show tomorrow at 12pm ET / 9am PT on the Substack app. Two, I am speaking at SXSW next week. If you’re there, join me for an Exponential View meet-up.

하나, 내일 오후 12시 ET / 오전 9시에 Substack 앱에서 Kevin Kelly와 대화 할 것입니다. 둘째, 다음 주에 SXSW에서 연설하고 있습니다. 당신이 거기에 있다면, 기하 급수적 인 모임을 위해 저와 함께하십시오.

OK, now onto our regular programming.

자, 이제 우리의 정기적 인 프로그래밍에.

In today’s landscape of artificial intelligence, the token has emerged as the fundamental unit of machine intelligence. Tokens are the building blocks of AI communication—the bite-sized pieces through which humans and machines exchange information. When you type “What is the weather today?”, an AI system breaks this into individual tokens like “What”, “is”, “the”, “weather”, etc., processes them, and then generates new tokens that form its response. Tokens transform your question into something the AI can understand, and the tokens it produces in return represent the machine’s carefully constructed answer.

오늘날의 인공 지능 환경에서 토큰은 기계 인텔리전스의 기본 단위로 등장했습니다. 토큰은 AI 커뮤니케이션의 빌딩 블록입니다. 인간과 기계가 정보를 교환하는 물린 크기의 조각입니다. “오늘 날씨는 무엇입니까?”를 입력하면 AI 시스템은 이것을“What”,“Is”,“The”,“Weather”등과 같은 개별 토큰으로 나누고 응답을 형성하는 새로운 토큰을 생성합니다. 토큰은 귀하의 질문을 AI가 이해할 수있는 것으로 바꾸고 대가로 생성되는 토큰은 기계의 신중하게 구성된 답변을 나타냅니다.

Understanding the scale of the token market is incredibly valuable, as this insight provides a clear, intuitive grasp of the market size of the genAI economy.

이 통찰력은 Genai 경제의 시장 규모에 대한 명확하고 직관적 인 이해를 제공하기 때문에 토큰 시장의 규모를 이해하는 것은 엄청나게 가치가 있습니다.

It helps estimate the infrastructure necessary to sustain growth, particularly in terms of computing resources like GPUs and other specialized chips. While the initial demand for AI training capabilities fuelled Nvidia’s historic market capitalization surge past $3 trillion in 2024, sustained token usage for inference — representing demand for genAI — will be crucial to maintaining this valuation.

특히 GPU 및 기타 전문 칩과 같은 계산 자원 측면에서 성장을 유지하는 데 필요한 인프라를 추정하는 데 도움이됩니다. AI 교육 능력에 대한 초기 수요는 2024 년에 Nvidia의 역사적인 시가 총액이 3 조 달러를 넘어서는 반면, Genai에 대한 수요를 나타내는 추론을위한 토큰 사용량은이 평가를 유지하는 데 중요 할 것입니다.

But accurately assessing this market, especially in the US, can be challenging. Major technology firms typically remain guarded and reveal only limited information about their actual usage. So analysts often rely on reported revenue figures, which, while helpful, give only partial visibility into true market dynamics.

그러나이 시장, 특히 미국 에서이 시장을 정확하게 평가하는 것은 어려울 수 있습니다. 주요 기술 회사는 일반적으로 지키지 않으며 실제 사용에 대한 제한된 정보 만 드러납니다. 따라서 분석가들은 종종보고 된 수익 수치에 의존하며, 도움이되지만 실제 시장 역학에 대한 부분 가시성 만 제공합니다.

Now valuable insights have begun to emerge from the Chinese market. Recently disclosed data points from China — like the DeepSeek numbers we referenced in the Monday email — offer a rare glimpse into actual usage patterns. This can help us construct a more comprehensive picture of the global token economy.

이제 중국 시장에서 귀중한 통찰력이 나타나기 시작했습니다. 최근 월요일 이메일에서 언급 한 심도있는 숫자와 같이 최근에 공개 된 중국의 데이터 포인트는 실제 사용 패턴을 드물게 보여줍니다. 이것은 우리가 글로벌 토큰 경제에 대한보다 포괄적 인 그림을 구성하는 데 도움이 될 수 있습니다.

Software markets commonly exhibit a distinct pattern of concentration: a small number of companies or products tend to massively dominate a given segment or geographic market. Because this dominance is so pronounced, even limited data about the largest players can serve to illuminate the overall structure and size of the market.

소프트웨어 시장은 일반적으로 뚜렷한 집중 패턴을 나타냅니다. 소수의 회사 나 제품은 주어진 세그먼트 또는 지리적 시장을 대량으로 지배하는 경향이 있습니다. 이러한 지배력이 매우 두드러지기 때문에 가장 큰 플레이어에 대한 제한된 데이터조차도 시장의 전반적인 구조와 규모를 밝히는 데 도움이 될 수 있습니다.

Helpfully, this power law dynamic considerably simplifies market analysis. Even a few data points, like those emerging from China, can provide surprising insights into the global AI token economy.

유용하게도,이 전력법 동적은 시장 분석을 상당히 단순화합니다. 중국에서 나오는 것과 같은 몇 가지 데이터 포인트조차도 글로벌 AI 토큰 경제에 대한 놀라운 통찰력을 제공 할 수 있습니다.

This approach, of course, has notable limitations: it isn’t bottom-up and it captures only a snapshot in time—specifically, the token market from late 2024 to early 2025. However, it helps us understand the scale of the numbers involved and the implications for infrastructure and investment.

물론이 접근법은 주목할만한 한계가 있습니다. 상향식이 아니며 스냅 샷 만 캡처합니다. 특히 2024 년 후반부터 2025 년 초까지 토큰 시장은 관련된 숫자의 규모와 인프라 및 투자에 대한 영향을 이해하는 데 도움이됩니다.

Over to China

중국으로

Looking at this particular report, Baidu’s Wenxiaoyan service was delivering 1 trillion tokens per day in August 2024, with API calls having increased 30-fold over one year. Bytedance’s Doubao went over 4 trillion tokens per day following several price cuts, with token usage growing 33 times in a single year.

이 특정 보고서를 살펴보면 Baidu의 Wenxiaoyan 서비스는 2024 년 8 월에 하루에 1 조의 토큰을 제공했으며 API 전화는 1 년 동안 30 배 증가했습니다. Bytedance의 Doubao는 몇 번의 가격 인하로 하루에 4 조 토큰을 넘었으며, 토큰 사용량은 1 년에 33 번 증가했습니다.

The report also hinted that there were 200 Chinese firms delivering at least 1 billion tokens per day. We know that Doubao sits at 4 trillion per day, while the 200th-ranked firm delivers around a billion tokens per day. DeepSeek recently announced they served 750 billion tokens daily to a diverse range of customers, both domestically and internationally.

이 보고서는 또한 하루에 최소 10 억 개의 토큰을 제공하는 200 개의 중국 회사가 있다고 암시했다. 우리는 Doubao가 하루에 4 조인지, 200 위의 회사는 하루에 10 억 개의 토큰을 제공한다는 것을 알고 있습니다. DeepSeek은 최근 국내 및 국제적으로 다양한 고객에게 매일 750 억 개의 토큰을 제공했다고 발표했습니다.

Using these three data points, we can begin to estimate the market’s overall size. I used a modified Zipf distribution, a discrete probability distribution that follows a power law where the frequency of an element is inversely proportional to its rank. In market analysis, Zipf’s law often manifests when the market share of the nth largest company is approximately proportional to 1/n. I’ve adapted this distribution to account for the specific characteristics of the token market, allowing us to estimate the entire market from limited data points about the largest players.

이 세 가지 데이터 포인트를 사용하여 시장의 전체 규모를 추정 할 수 있습니다. 나는 요소의 주파수가 순위에 반비례하는 전력법을 따르는 개별 확률 분포 인 수정 된 ZIPF 분포를 사용했습니다. 시장 분석에서, Zipf의 법칙은 종종 가장 큰 회사의 시장 점유율이 1/n에 대략 비례 할 때 나타납니다. 토큰 시장의 특정 특성을 설명하기 위해이 분포를 조정하여 가장 큰 플레이어에 대한 제한된 데이터 포인트에서 전체 시장을 추정 할 수있었습니다.

The chart above provides five different distributions of token usage by the largest Chinese genAI firms, ranging from the most concentrated market (orange 🟠) to the least (green 🟢). Each resembles common distribution curves observed in other markets: orange like web search, blue like enterprise software, red like cloud computing and yellow and green like non-technology markets.

위의 차트는 가장 큰 중국 Genai 기업의 5 가지 토큰 사용 분포를 제공하며, 가장 집중된 시장 (오렌지 🟠)에서 최소한 (녹색)에 이르기까지 다양합니다. 각각은 다른 시장에서 관찰 된 공통 분배 곡선과 비슷합니다. 웹 검색과 같은 오렌지, 엔터프라이즈 소프트웨어와 같은 파란색, 클라우드 컴퓨팅과 같은 빨간색 및 비 기술 시장과 같은 노란색과 녹색과 비슷합니다.

Summing across all samples allows us to estimate the market’s total size and make educated guesses about market concentration.

모든 샘플에서 합산하면 시장의 총 규모를 추정하고 시장 집중에 대한 교육적 추측을 할 수 있습니다.

My best guess is that the Chinese genAI market today might resemble something between the orange and blue curves, with Doubao, Wenxiaoyan and DeepSeek being the largest players. The market might be less concentrated publicly, though probably not significantly below the blue curve.

내 가장 좋은 추측은 오늘날 중국의 제나이 시장이 오렌지와 파란색 곡선 사이의 무언가와 비슷할 수 있으며, Doubao, Wenxiaoyan 및 Deepseek은 가장 큰 선수입니다. 시장은 공개적으로 덜 집중 될 수 있지만 아마도 파란색 곡선보다 크게 낮지는 않을 것입니다.

I’ve also built a preview calculator that lets you play around with some of the parameters here. This simplified version isn’

또한 여기에 일부 매개 변수를 가지고 놀 수있는 미리보기 계산기를 만들었습니다. 이 단순화 된 버전은 ''