Programação

Você e a inteligência artificial (IA) leem de forma diferente. Você, humano, lê palavras. Usa o vocabulário armazenado na sua mente. A IA, máquina, lê bloquinhos com etiquetas numéricas. Esses bloquinhos são os tokens.

O token é a língua que grandes modelos de linguagem (LLMs, na sigla em inglês), como ChatGPT, Claude e Gemini, entendem. Para transformar a língua que você fala na língua que a máquina fala, seus prompts passam pela tokenização. E para a IA te responder na língua que você entende, ocorre a destokenização.

É isso que está por trás dos preços das assinaturas das plataformas. Processar esses “bloquinhos” consome energia e poder computacional. Então, as empresas usam a quantidade de tokens consumidos (tanto na sua pergunta quanto na resposta da IA) para calcular os custos do sistema, definir os limites de “memória” de cada modelo e cobrar pelo seu uso.

O que é token e como ele funciona na IA

Para a IA entender sua mensagem (comando, prompt), ela precisa quebrar o que você mandou (texto, áudio, imagem) em blocos: os tokens. “Um token é basicamente uma subpalavra”, explica Fabrício Carraro, Program Manager da Alura, em entrevista ao Olhar Digital. “Por exemplo: a palavra ‘feliz’ é um token, a palavra ‘triste’ é um token, a palavra ‘divisível’ é um token.”

Então, por que chamar de subpalavra? 

Se a gente tem ‘indivisível’ ou ‘infeliz’, você vai ter o token ‘in’. O token ‘in’ corresponde, digamos, ao número 357 no vocabulário total de um modelo de linguagem. E o token ‘feliz’ vai ser o token 352. Esses dois juntos – o token ‘in’ e o token ‘feliz’ – formam a palavra ‘infeliz’.

Fabrício Carraro, Program Manager da Alura, em entrevista ao Olhar Digital

É isso que acontece no motor da IA (o LLM). Ele recebe uma sequência de bloquinhos com etiquetas numéricas (seu prompt) e faz um cálculo super complexo para prever quais devem ser os bloquinhos de saída (resposta da IA).

O ‘gerente invisível’ da IA

Só que quando você conversa com o ChatGPT, não está interagindo diretamente com o motor. Você está usando a camada de software ao redor dele: o harness. É como se fossem os arreios que direcionam o cavalo (o LLM) para uma tarefa. 

Em outras palavras: quando você manda mensagem para uma IA, é o harness que coordena o fluxo da tokenização e destokenização. É como se ele fizesse a máquina pensar antes de falar.

“O harness pega sua pergunta, seu prompt, e divide em possíveis perguntas que poderiam ser feitas para responder a esse prompt”, explica Carraro. 

“Em vez de responder direto, ele já vai gerando pequenas perguntas, subperguntas, dividindo em subproblemas, e vai respondendo, de forma ‘escondida’, cada um desses subprobleminhas que criou para ele mesmo”, diz o especialista. “Depois que termina esse raciocínio, ele te dá a resposta. É isso que está gastando tokens.”

Existe outra variável em curso nas suas conversas com IA: a janela de contexto. E ela tem tudo a ver com tokens.

É como se a janela de contexto fosse o tamanho da sua mesa de trabalho (porque é a “memória de curto prazo” da IA). E os tokens fossem folhas de papel com informações que você espalha sobre a mesa.

Em termos mais técnicos e práticos: a janela de contexto define o número máximo de tokens (seus prompts de entrada somados às respostas de saída da IA) que a IA consegue processar ao mesmo tempo. Se a sua conversa estiver dentro deste limite, a IA consegue “lembrar” de tudo que foi falado e mandado na hora de te responder. Se a conversa extrapolar esse limite, informações ficarão pelo caminho.

Por que token não é a moeda da IA (mas tem a ver)

O token está, sim, relacionado ao preço que se cobra em assinaturas de IA, como os planos Go do ChatGPT e Plus do Gemini. Mas o token, por si só, não é a moeda da IA. Ele é considerado na hora de precificar o uso da IA – seja num valor de assinatura, seja no valor de créditos (esses, sim, funcionam como moedas em plataformas).

É que o token é a unidade de medida do processamento de dados. É o “bloco de construção” usado pela máquina para entender o conteúdo enviado pelo usuário. Em última análise, o token serve como métrica de consumo. Com base no volume de tokens que entram (prompts do usuário) e saem (respostas da IA), as empresas medem o esforço computacional e os custos operacionais. 

Depois de considerar diversas variáveis, chega-se aos preços das assinaturas e dos créditos. No Claude Fable 5, por exemplo, a Anthropic cobra US$ 10 (aproximadamente R$ 51, em conversão direta) por um milhão de tokens de entrada e US$ 50 (R$ 257) por um milhão de tokens de saída.

“Um milhão de tokens parece muito, mas não é”, observa Carraro. “Para um problema de programação você gasta isso em dois, três ou quatro prompts, dependendo do tamanho do problema e da complexidade.” 

“Para problemas pequenos é bastante, mas para a maioria das bases de código com que a gente trabalha não é tanta coisa assim”, acrescenta o especialista. “Esses US$ 50 acabam rápido.”

(Esta matéria também usou informações de Google, Nvidia e OpenAI.)

O post O que é token? Entenda os ‘bloquinhos’ usados pela IA na hora de te responder apareceu primeiro em Olhar Digital.

A inteligência artificial (IA) está inundando o mundo com programação ruim. E até potencialmente perigosa. É o que alertaram dois engenheiros criadores do núcleo de um agente de IA bem popular, o OpenClaw, em entrevista ao Wall Street Journal.

Mario Zechner e Armin Ronacher criaram o Pi, mecanismo de IA que roda dentro do OpenClaw. A dupla chamou o fenômeno em questão de “vibe slop” – mistura de “vibe coding” com “AI slop”. 

Traduzindo: “vibe coding” é quando se programa por meio de uma conversa com um grande modelo de linguagem (LLM, na sigla em inglês). Já “AI slop” é o nome dado a conteúdo de baixa qualidade gerado por IA.

O “vibe slop” começa quando programadores substituem o árduo trabalho de projetar e testar seus sistemas pelo atalho de pedir à IA para criá-los, explicou a dupla. E se consolida quando o software resultante não resiste ao teste do tempo.

“Você tem uma infraestrutura que está se deteriorando e um software que agora está muito, muito mais instável do que antes”, disse Zechner. “Podemos continuar jogando esse jogo por mais alguns meses, ou talvez até anos, mas eventualmente ele vai cobrar a conta.”

Vibe slop: quando vibe coding gera AI slop – e o colapso iminente disso

Zechner e Ronacher esclareceram que a IA é útil para lidar com tarefas repetitivas em seus próprios projetos. Mas alertam contra a ilusão de que ela substitui a mão de obra humana. 

Ao demitir programadores juniores para cortar custos e focar em produtividade imediata, as empresas estão acumulando problemas para o futuro. O resultado dessa troca inclui softwares cheios de bugs, interrupções no serviço, falhas de segurança e uma dívida técnica que só aumenta, segundo a dupla.

Esse debate ferve no setor justamente no momento em que as gigantes OpenAI e Anthropic se preparam para abrir capital no mercado de ações (IPO, na sigla em inglês). 

Defensores da tecnologia afirmam que a IA pode avaliar e corrigir os próprios erros sem supervisão humana constante. Contudo, Rohan Varma, líder da equipe do Codex na OpenAI, reconhece que o código gerado por IA raramente funciona perfeitamente de primeira. 

Varma destacou que, embora ferramentas automatizadas ajudem nos testes, a responsabilidade final sobre sistemas críticos que atendem milhões de pessoas continua sendo dos engenheiros de programação humanos.

Apesar dos riscos apontados por críticos, o avanço corporativo é agressivo. O Google, por exemplo, já gera 75% de seus novos códigos por meio de IA, segundo o CEO, Sundar Pichai. E o CEO da Meta, Mark Zuckerberg, disse em 2025 que a tecnologia escreveria e revisaria a maior parte do código da sua equipe interna até o fim de 2026. 

Para Zechner, esses números geram confusão sobre a capacidade real dos sistemas atuais. Segundo ele, ferramentas de IA são eficientes para criar códigos novos e simples do zero. Mas falham drasticamente quando o desafio é atualizar e gerenciar a imensa complexidade dos sistemas antigos que sustentam as grandes empresas.

Um exemplo dessa limitação aparece no Claude Code, ferramenta desenvolvida pela Anthropic – que usou seus próprios sistemas de IA no processo. “O Claude Code é um dos softwares mais problemáticos que já usei em toda a minha vida”, disse Zechner.

Ele apontou falhas na interface e consumo excessivo de memória causados pelo desenvolvimento automatizado feito às pressas. A Anthropic disse que os erros visuais foram corrigidos e justificou o ritmo acelerado pelo aumento explosivo do uso da ferramenta. Mas concordou que o controle final deve permanecer nas mãos do usuário humano.

O cientista da computação Timothy B. Lee apontou um ponto cego crucial: os modelos de IA não possuem o conhecimento prático acumulado ao longo de anos pelos programadores humanos de uma empresa. Essas informações internas e específicas não constam nos dados de treinamento dos algoritmos. 

Sem essa bagagem humana para monitorar o processo, os assistentes virtuais podem desviar facilmente do caminho correto. E gerar falhas graves sem que ninguém perceba a tempo. Daí o alerta da dupla por trás do OpenClaw. Talvez aquela cena de Oppenheimer tenha passado pela mente deles.

O post O colapso do ‘vibe coding’ está chegando, alerta dupla por trás do OpenClaw apareceu primeiro em Olhar Digital.