O que é token e como contar os tokens do seu texto

A IA não lê o seu texto letra por letra. Antes de chegar ao modelo, o texto passa por um cortador que o divide em pedaços chamados tokens, e o modelo recebe só o número de cada pedaço. É como ler uma frase em blocos de Lego em vez de letra por letra.

Por isso a pergunta "quantos erres tem em morango?" pode dar errado. Na codificação que a OpenAI usa nos modelos atuais, "morango" vira dois pedaços, "mor" e "ango". O modelo nunca viu as letras soltas, só os dois blocos, e contar letra dentro de um bloco é um truque que ele precisa fazer de cabeça.

O mesmo mecanismo mexe no seu bolso. Preço da API, limite do plano e tamanho da conversa que a IA consegue lembrar são todos medidos em tokens. Entender o corte ajuda a escrever pedidos melhores e a prever o gasto. Este guia reúne o que o vídeo cortou: o prompt pronto, o site para ver os pedaços, o passo a passo com o tiktoken e a relação com o preço.

Uma ressalva importante: nem toda IA erra a contagem, e cada empresa tem o seu cortador. Modelos que raciocinam antes de responder muitas vezes acertam. Os exemplos abaixo vêm da codificação o200k_base da OpenAI, medidos em 19/10/2026.

Prompt pronto para a IA contar letras certo

O truque é fazer a IA soletrar primeiro, separando as letras por traço, e só depois contar. Soletrando com traço, cada letra vira um pedaço sozinho e a contagem fica fácil. Medido com o tiktoken, "m-o-r-a-n-g-o" dá 7 tokens, um por letra.

Copie e troque o que está entre colchetes:

Quero contar quantas vezes a letra [r] aparece na palavra [morango].
Faça assim:
1. Escreva a palavra soletrada, com as letras separadas por traço.
2. Numere cada letra da lista.
3. Marque as posições em que aparece a letra [r].
4. Só então diga o total.

Variação para frase inteira, quando você quer contar uma letra num trecho maior:

Conte quantas vezes a letra [a] aparece neste texto. Antes de dar o
número, escreva o texto soletrado, palavra por palavra, com as letras
separadas por traço, e conte palavra por palavra. Mostre a conta
de cada palavra e some no fim.

Texto: [cole o texto]

Isso não garante acerto em todos os casos, mas dá ao modelo a conta passo a passo, que é onde ele costuma tropeçar.

Site grátis que mostra os pedaços do seu texto

A OpenAI mantém uma página onde você cola um texto e vê os pedaços em cores, com o total de tokens: https://platform.openai.com/tokenizer

Como usar:

1. Abra o endereço acima.
2. Cole uma palavra ou frase na caixa. Teste "morango": ela aparece dividida em dois blocos.
3. Escolha o tipo de codificação, se a página oferecer a opção. A mais nova, o200k_base, é a dos modelos atuais da OpenAI.
4. Compare com a versão soletrada, "m-o-r-a-n-g-o", e veja cada letra virar um bloco.

Vale testar outras palavras. No mesmo teste, "coração" virou dois pedaços, "c" e "oração", e "ação" ficou em um só. É por isso que acentos e palavras em português às vezes são cortados de um jeito que parece estranho.

Como usar o tiktoken para contar tokens no computador

O tiktoken é o cortador aberto da OpenAI, rápido e com licença MIT. Código em https://github.com/openai/tiktoken. Ele roda no seu computador, sem chamar IA e sem custo.

Você precisa do Python instalado. No terminal:

pip install tiktoken

Depois, num arquivo contar.py:

import tiktoken

enc = tiktoken.get_encoding("o200k_base")

for texto in ["morango", "m-o-r-a-n-g-o", "coração"]:
    ids = enc.encode(texto)
    pedacos = [enc.decode([i]) for i in ids]
    print(texto, len(ids), pedacos)

Rode com python contar.py. O resultado esperado, medido em 19/10/2026:

• morango: 2 tokens, "mor" + "ango"
• m-o-r-a-n-g-o: 7 tokens, um por letra
• coração: 2 tokens, "c" + "oração"

Para contar o tamanho de um texto inteiro, troque a lista por len(enc.encode(seu_texto)). Em média, cada token corresponde a cerca de 4 bytes de texto, segundo o README do projeto.

Como o token entra no preço, no limite e no tamanho da conversa

Tudo que você manda e tudo que a IA responde é contado em tokens. Isso aparece em três lugares:

• Preço da API. Quem usa a IA por API paga por quantidade de tokens, normalmente com um preço para o que entra e outro para o que sai. Os valores mudam de modelo para modelo e de tempos em tempos, então consulte a página de preços do modelo que você usa.
• Limite do plano. Nos planos de assinatura, o limite de uso diário ou semanal é calculado em cima do consumo de tokens. Conversa longa, arquivo grande e muitas ferramentas ligadas gastam mais.
• Tamanho da conversa. Cada modelo tem uma janela de contexto, o máximo de tokens que ele consegue ter diante de si ao mesmo tempo. Passou disso, as partes mais antigas deixam de caber. Esse é o limite do quanto ele "lembra".

Duas dicas práticas que saem disso. Primeiro, texto enxuto custa menos: cole só o trecho que importa, em vez do arquivo inteiro. Segundo, para estimar o custo antes de rodar algo grande, conte os tokens com o tiktoken ou com o site acima.

Sobre idioma: no teste de 19/10/2026, uma frase de 18 palavras deu 21 tokens em português e 19 em inglês. A diferença foi pequena nessa codificação, então não dá para concluir que escrever em português custa muito mais.

Fontes

• tiktoken, repositório oficial: https://github.com/openai/tiktoken (README conferido em 19/10/2026).
• Tokenizer da OpenAI: https://platform.openai.com/tokenizer
• Testes com tiktoken e a codificação o200k_base, rodados em 19/10/2026.