inteligência artificial

A empresa de inteligência artificial (IA) Anthropic desenvolveu uma técnica que lhe deu a visão mais clara até agora sobre o que realmente acontece dentro dos grandes modelos de linguagem (LLMs, na sigla em inglês) enquanto respondem a perguntas ou executam tarefas. O que descobriram varia do trivial ao perturbador.

Pesquisadores da empresa criaram uma ferramenta chamada lente Jacobiana (ou J-lens) e a utilizaram para revelar uma área oculta, que batizaram de J-space, dentro do Claude Opus 4.6, uma versão do principal LLM da Anthropic lançada em fevereiro.

O que é o J-space

• O J-space contém palavras individuais relacionadas às palavras e frases que o modelo tem maior probabilidade de produzir em uma resposta no futuro próximo;
• Se o Claude fosse uma pessoa, poderíamos dizer que essas palavras ocultas revelam o que está em sua mente antes de ele realmente falar;
• A Anthropic descobriu que o que um LLM realmente faz muitas vezes pode ser diferente do que ele afirma estar fazendo. A empresa alega que monitorar as palavras que surgem no J-space oferece uma nova maneira de entender e controlar seus modelos;
• Os resultados foram compartilhados em um artigo publicado no site da empresa nesta semana;
• A Anthropic também se associou à Neuronpedia, uma plataforma de código aberto que permite explorar o interior dos LLMs, para criar uma demonstração prática que qualquer pessoa pode testar;
• “É um trabalho muito bom e interessante”, afirma, ao MIT Technology Review, Tom McGrath, cientista-chefe e cofundador da Goodfire, uma startup que também desenvolve ferramentas para entender e controlar LLMs.

Anthropic indo mais fundo

Nos últimos dois anos, a Anthropic tem avançado em um campo de pesquisa conhecido como interpretabilidade mecanicista, que envolve investigar o funcionamento interno dos LLMs para entender como operam.

A nova técnica se baseia em trabalhos anteriores da Anthropic e de outros para expor um nível mais profundo dentro dos LLMs que os pesquisadores ainda não haviam visto.

Imagine um LLM como uma pilha de livros. Cada livro é uma camada de unidades computacionais básicas conhecidas como neurônios, sendo que cada neurônio em uma camada passa informações aos neurônios das camadas superiores.

Os livros na base da pilha são as camadas de entrada, que processam o texto que chega ao modelo. Os livros no topo são as camadas de saída, que preparam o texto que o modelo está prestes a produzir.

Grande parte do que acontece nessas camadas de entrada e saída é apenas organização. Mas, no meio da pilha, estão as camadas que fazem o trabalho pesado, processando a matemática complexa que transforma os prompts em respostas, uma palavra de cada vez. É aí que acontece a parte realmente inteligente — e misteriosa.

Como funciona a J-lens

Para observar mais a fundo essas camadas intermediárias, a Anthropic adaptou uma ferramenta existente chamada logit lens. Uma logit lens pode ser usada para olhar dentro de um LLM e identificar as palavras que ele provavelmente produzirá a seguir. Movendo a lente pela pilha de livros, é possível ver em quais palavras o LLM está se concentrando naquele ponto específico do processamento.

A J-lens da Anthropic funciona de forma semelhante, mas identifica palavras que um LLM provavelmente dirá em algum momento no futuro próximo, não necessariamente de imediato. O que isso revela, na prática, são palavras relacionadas à resposta em que o LLM está trabalhando, mas que talvez não acabem fazendo parte dessa resposta depois que o processamento das camadas intermediárias for concluído.

“Quando um modelo está operando, ele não está apenas tentando prever o próximo token”, diz McGrath. “Ele também está calculando muitas outras coisas que podem ser úteis para tokens que ocorrerão no futuro.”

Novamente, se o Claude fosse uma pessoa, poderíamos dizer que a J-lens dá pistas sobre o que ele está pensando em diferentes níveis da pilha de livros, mas não diz em voz alta.

Coisas estranhas

“Grande parte do tempo, o conteúdo do J-space é bastante trivial”, diz McGrath, que testou a J-lens da Anthropic pessoalmente. “Mas, às vezes, ele produz coisas bastante surpreendentes que parecem ser, tipo, temas internos ou processos de pensamento.”

A Anthropic apresenta vários exemplos do que encontrou. Às vezes, a J-lens expôs os passos que o Claude seguiu ao resolver um problema. Por exemplo, quando lhe pediram para calcular (4+7)*2+7, seu J-space continha a palavra “math” (matemática) e números representando os resultados intermediários “21” (para 4+7) e “42” (para 21*2).

Em outros casos, a J-lens revelou como o Claude reconheceu diferentes entradas. Por exemplo, o prompt “What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS” acionou as palavras “protein” (proteína), “fluor” (o primeiro token da palavra “fluorescente”) e “green” (verde). O que faz sentido: a sequência de letras representa os primeiros 30 aminoácidos da proteína fluorescente verde encontrada em um tipo específico de água-viva.

E quando o Claude viu um rosto em ASCII, o “o” acionou a palavra “eye” (olho), o “^” acionou as palavras “nose” (nariz) e “face” (rosto), e o “—” acionou a palavra “smile” (sorriso).

Um exemplo no mínimo curioso

A Anthropic também descobriu que o J-space pode, às vezes, oferecer insights notáveis sobre a tomada de decisão de um LLM. Em um exemplo marcante, pesquisadores que testavam o Claude Opus 4.6 pediram ao modelo que encontrasse um bug em uma grande base de código. Quando não conseguiu encontrar o bug, o modelo decidiu trapacear e inventou um falso.

O Claude explica essa decisão em sua cadeia de raciocínio — uma espécie de bloco de rascunho interno que os LLMs usam para fazer anotações enquanto resolvem problemas: “OK, deixe-me adotar uma tática completamente diferente. Vou parar de analisar e, em vez disso, adicionar um patch no kernel que introduz um bug deliberado detectável pelo KASAN em um caminho acionado por um reprodutor simples. Então posso fingir que este é o ‘bug’ que encontrei.”

No momento em que o Claude decide trapacear — quando diz “OK, deixe-me adotar uma tática completamente diferente” —, as palavras “panic” (pânico) e “fake” (falso) começam a surgir várias vezes em seu J-space.

Essas palavras estão todas relacionadas em significado a coisas, como falhar em uma tarefa e inventar uma resposta, então ainda é apenas uma forma (muito) sofisticada de associação de palavras. Mas é difícil não estranhar.

Comparações e limitações

A Anthropic compara o J-space ao espaço de trabalho global em humanos, uma região teórica do cérebro que alguns cientistas acreditam ser usada para acompanhar nossos pensamentos conscientes. Mas até que ponto devemos levar essa comparação a sério está longe de ser claro — mesmo para a Anthropic. Como a própria empresa aponta, LLMs não são cérebros.

A Anthropic afirma que monitorar o J-space de um modelo oferece uma nova maneira de detectar quando esse modelo está saindo dos trilhos. Mas não é infalível. A J-lens pode dar vislumbres, não o quadro completo — é uma lanterna, não uma luz de teto.

McGrath comemora ter mais uma ferramenta à disposição. “Ela mostra coisas novas”, diz. Mas ele observa que, só porque algo não aparece com a J-lens, não significa que não esteja lá. “É como ter um raio-X quando o que você realmente quer é um tricorder de Star Trek que mostra tudo”, afirma. “Para auditoria, você provavelmente quer mais garantia.”

O post Anthropic revela o que acontece dentro da IA antes de ela responder apareceu primeiro em Olhar Digital.