inteligência artificial

Quanto maior é uma inteligência artificial (IA), melhor ela funciona? Para pesquisadores da USP ouvidos pelo Olhar Digital, a resposta depende do problema. Em determinadas aplicações, sistemas mais eficientes e especializados podem exigir menos dados e processamento e, ainda assim, entregar o desempenho necessário para aquela tarefa.

A discussão não significa que os grandes modelos perderam espaço. Enquanto Marcelo Finger critica a dependência crescente de dados e recursos computacionais na evolução desses sistemas, o matemático Marcos Eduardo Valle aponta uma lacuna entre os modelos menores e os grandes sistemas de aprendizado profundo e vê espaço para explorar soluções intermediárias.

O que há por trás da corrida por modelos maiores?

Para Marcelo Finger, uma das principais contribuições do avanço recente da inteligência artificial foi ampliar a capacidade das máquinas de reconhecer padrões em diferentes tipos de informação, como linguagem, imagens e sons. Esse avanço ganhou um novo impulso em 2017, com a proposta do Transformer, um modelo de reconhecimento de padrões inicialmente desenvolvido para tradução entre línguas. A arquitetura se tornou uma das bases dos grandes modelos de linguagem usados atualmente.

Finger destaca, porém, uma limitação dessa abordagem. Segundo ele, o Transformer precisa rever os dados de entrada múltiplas vezes, e esse processo cresce de forma quadrática conforme aumenta o tamanho da entrada. Em outras palavras, aumentar a quantidade de informação que o modelo precisa analisar faz o número de cálculos crescer ainda mais. Isso eleva o custo de processamento e, consequentemente, os recursos necessários para trabalhar com modelos cada vez maiores.

Além da capacidade computacional, Finger cita outros recursos envolvidos nesse processo, como energia e água, e aponta a geração de calor associada à operação dos equipamentos.

O pesquisador também avalia que, desde a popularização dos grandes modelos de linguagem, a evolução da área passou a se concentrar cada vez mais nessa abordagem. Na visão dele, quando a inteligência artificial ganhou espaço no mercado, parte da pesquisa passou a acompanhar essa direção.

Marcos Eduardo Valle também vê limites nesse processo. Para ele, a evolução do hardware pode estar chegando a uma fase de estagnação. O pesquisador cita o avanço das GPUs como parte do processo que permitiu ampliar a capacidade de processamento disponível para o aprendizado profundo.

“Essa questão de hardware parece estar dando uma estagnada e eu acredito que a gente vai bater num teto também desse limite, talvez esses modelos gigantescos vão estagnar”, afirmou.

Quando uma solução especializada pode levar vantagem

Grandes modelos de propósito geral têm uma vantagem evidente: conseguem lidar com uma variedade maior de situações. Para Valle, porém, isso não significa que sejam a melhor opção para qualquer aplicação.

Valle cita áreas como medicina e agricultura como exemplos de aplicações nas quais nem sempre existe uma quantidade de dados comparável à disponível para treinar grandes modelos de linguagem. Na medicina, por exemplo, a obtenção de determinadas informações pode depender de avaliações profissionais e envolver processos mais complexos.

Nesse cenário, uma solução desenvolvida para uma tarefa específica pode aproveitar melhor os dados disponíveis. Em vez de tentar aprender uma quantidade enorme de possibilidades, o modelo pode incorporar características conhecidas sobre o problema.

Essa especialização, no entanto, tem uma condição. Valle explica que um modelo específico parte de determinadas hipóteses sobre o problema que pretende resolver. Se essas premissas não forem válidas no cenário real, um modelo generalista pode levar vantagem por conseguir lidar com mais possibilidades.

“Então, você não pode tentar colocá-lo em outra tarefa diferente onde ele não foi projetado”, disse.

Por isso, a escolha não se resume ao tamanho do modelo. O tipo e a quantidade de dados disponíveis, o objetivo da aplicação e as características do problema também entram na decisão.

Uma IA feita com poucos dados

Um projeto conduzido por Finger durante a pandemia de Covid-19 mostra como uma abordagem especializada pode ser aplicada em um cenário com poucos dados. A ideia era analisar a voz de uma pessoa para identificar sinais de insuficiência respiratória e ajudar a reconhecer pacientes que poderiam precisar de atendimento hospitalar.

O objetivo não era identificar a presença do coronavírus pela voz. Segundo Finger, a proposta era detectar a insuficiência respiratória, um problema que pode ocorrer por diferentes causas e que, durante a pandemia, estava associado aos casos mais graves de Covid-19.

O primeiro desafio foi conseguir dados. A equipe coletou dados de cerca de 600 pacientes em dois meses, mas quase um terço dos registros precisou ser descartado por problemas nas gravações. Os áudios também eram feitos em ambientes hospitalares com grande quantidade de ruídos, incluindo tosse, equipamentos, televisão e movimentação de pessoas.

Em vez de simplesmente eliminar esses sons, a equipe decidiu utilizar o próprio ruído ambiente para tornar os dados mais semelhantes. Os pesquisadores captaram amostras dos sons presentes nos locais de atendimento e adicionaram esses ruídos às gravações.

A intenção era evitar que o sistema aprendesse uma característica que não interessava ao estudo: a diferença entre uma gravação feita no hospital e outra realizada em casa. Ao tornar os sinais mais semelhantes, a equipe queria fazer com que o modelo prestasse atenção às características da voz relacionadas à insuficiência respiratória.

Segundo Finger, a primeira versão alcançou 91% de acurácia. Depois de alterações no algoritmo e novas análises, o índice chegou a 96,5% e, posteriormente, a 99% para a identificação de insuficiência respiratória no contexto estudado.

O resultado foi relatado pelo pesquisador e se refere ao contexto estudado pela equipe. A ferramenta tinha uma tarefa delimitada: identificar sinais de insuficiência respiratória.

Um modelo grande também pode dar origem a soluções menores

Uma solução mais eficiente não precisa necessariamente ser criada completamente do zero. Valle cita técnicas que permitem aproveitar o conhecimento obtido por modelos treinados com grandes bases de dados.

Uma delas é a transferência de aprendizado, na qual um modelo treinado em uma grande base pode ser adaptado posteriormente para um problema mais específico. Outra é a destilação de conhecimento, que permite aproveitar o conhecimento de um modelo maior para construir um modelo menor.

Essa possibilidade mostra que modelos grandes e soluções especializadas não precisam necessariamente competir. Valle cita, por exemplo, a possibilidade de utilizar um grande modelo de linguagem para a interação com o usuário e encaminhar as informações para um modelo menor e específico, responsável por uma determinada tarefa.

Nesse tipo de arquitetura, diferentes sistemas podem desempenhar funções distintas. O modelo generalista pode cuidar da comunicação, enquanto uma solução especializada processa informações de acordo com as necessidades da aplicação.

A pesquisa também busca modelos mais eficientes

O próprio trabalho de Valle parte dessa ideia. O matemático pesquisa modelos de aprendizado profundo que incorporam informações geométricas e algébricas para tentar melhorar seu desempenho e reduzir a quantidade de dados necessária em determinadas aplicações.

Um dos exemplos apresentados pelo pesquisador envolve uma câmera de vigilância. Se o sistema precisa reconhecer um movimento suspeito, uma mudança na posição da câmera não deveria fazer com que ele deixasse de reconhecer aquele mesmo movimento.

A abordagem considera informações sobre a geometria do problema. Dessa maneira, características que permanecem relevantes mesmo quando a perspectiva muda podem ser incorporadas ao desenvolvimento do sistema.

Segundo Valle, essa estratégia pode permitir modelos mais eficientes e, eventualmente, treinados com menos dados.

Há também possíveis vantagens na execução desses sistemas. Valle afirma que soluções mais compactas podem obter bom desempenho com menor custo, exigindo menos processamento, energia e recursos computacionais. Dependendo da aplicação, elas também podem ser executadas localmente, evitando a transferência de dados para a nuvem.

O próximo passo pode estar entre os extremos

Finger vê um componente de tendência na concentração de atenção nos grandes modelos. Para ele, pesquisadores e empresas acabam direcionando esforços para as tecnologias que estão em evidência.

“A área da computação é mais guiada pela moda do que a alta costura”, afirmou.

Valle tem uma avaliação menos binária. Ele acredita que os grandes modelos ainda têm espaço para avançar, mas também vê uma oportunidade na região entre os modelos menores tradicionais e os sistemas gigantes de aprendizado profundo.

“Eu acho que a tendência é a gente avançar nesse gap aí, fazer um modelo que não é nem tão grande e que não é tão pequeno também. Então, modelos de tamanho médio, eu acho que tem muita coisa para se explorar aí”, afirmou.

O post Nem todo problema de IA precisa de um modelo gigante apareceu primeiro em Olhar Digital.

Quando você tem uma dúvida sobre algo, pode seguir três caminhos hoje em dia. O primeiro é pesquisar no Google. O segundo é conversar com um chatbot de inteligência artificial (IA), como ChatGPT, Claude, Gemini. O terceiro é conversar com alguém. Com a IA cada vez mais embutida na Busca do Google, os primeiros dois caminhos podem render experiências parecidas. Já no terceiro, a coisa é bem diferente. Humanos carregam conhecimento em suas mentes. Plataformas de IA mineram dados.

A diferença é, essencialmente, a seguinte: a pessoa consultada por você pode saber do que está falando. E, por isso, pode esclarecer sua dúvida. Ou até provocar outras. A IA, não. A resposta do chatbot passa confiança. É “limpa”, bem estruturada, aparentemente coerente. Mas não se engane. A plataforma não sabe do que está falando. Só que isso não tira o valor da sua resposta.

A IA processa quantidades abissais de dados, mas não carrega conhecimento

Você e a inteligência artificial não falam a mesma língua. Você poderia falar todos os idiomas do mundo e, ainda assim, não falaria a mesma língua da IA. Você, humano, fala a partir de vocabulário de palavras. A máquina só entende tokens – bloquinhos com etiquetas numéricas. Ou seja, números.

“Um token é basicamente uma subpalavra”, explica Fabrício Carraro, Program Manager da Alura, em entrevista ao Olhar Digital. “Por exemplo: a palavra ‘feliz’ é um token, a palavra ‘triste’ é um token, a palavra ‘divisível’ é um token.”

O especialista em IA continua: “Se a gente tem ‘indivisível’ ou ‘infeliz’, você vai ter o token ‘in’. O token ‘in’ corresponde, digamos, ao número 357 no vocabulário total de um modelo de linguagem. E o token ‘feliz’ vai ser o token 352. Esses dois juntos – o token ‘in’ e o token ‘feliz’ – formam a palavra ‘infeliz’.”

Quando você pergunta algo para o ChatGPT e a IA te responde, o que ocorre está mais para “cálculo de palavras” do que “articulação de pensamentos”. “Ele pega os milhares de tokens do seu vocabulário e atribui uma probabilidade para cada um deles com base no que viu e ‘aprendeu’ durante as fases de treinamento”, diz Carraro.

O treinamento de um grande modelo de linguagem (LLM, na sigla em inglês) consome quantidades abissais de dados. Se você lesse 24 horas por dia, demoraria quase 100 mil anos para chegar perto da quantidade “lida” pelo ChatGPT. No pós-treinamento, vem o aprendizado por reforço. “É quando o LLM aprende a ser útil para os humanos”, diz o especialista.

“No pós-treinamento, você o ensina que, dada uma pergunta, é assim que se espera uma resposta; esse é o formato que os humanos gostam de ver”, explica Carraro. “É feito um aprendizado por reforço também para ‘ensinar’ a ele que determinado retorno é uma resposta desejada e outro é uma resposta não desejada.”

Quando a IA te responde, ela está fazendo milhões de cálculos matemáticos. Cada neurônio da rede neural – nomes escolhidos lá atrás – é, literalmente, uma equação matemática.

Fabrício Carraro, Program Manager da Alura, em entrevista ao Olhar Digital.

Na hora de te responder, a IA escolhe cada palavra com base no seu treinamento. “Ao responder um humano, no que é chamado de inferência, a IA gera o próximo token baseada nas probabilidades que aprendeu durante o pré-treinamento, o pós-treinamento, o aprendizado por reforço e tudo mais”, diz o especialista. Em outras palavras, o chatbot “está simplesmente gerando o que é mais provável”.

Ok, plataformas de IA generativa não sabem de nada. Mas, atualmente, empresas de tecnologia usam alguns truques para compensar essa defasagem. Um deles foi embutir na IA a capacidade de pesquisar na internet. Isso melhorou a precisão na hora de responder dúvidas sobre temas quentes, como qual time ganhou o jogo de ontem e quem foram os vencedores do Oscar.

Outro truque é o que ficou conhecido como “raciocínio” (reasoning). A máquina não pensa, daí as aspas no termo. Mas o que ocorre debaixo do capô é um processo análogo ao que acontece na sua cabeça.

Segundo Carraro, a sacada de empresas como Google e OpenAI foi “fazer o modelo gerar para si mesmo várias miniperguntas e criar as respostas para elas sem mostrar isso ao usuário”. “Se ele perceber que errou, pode ver que algo estava errado, tentar outra abordagem e, com isso, fornecer uma resposta mais confiável”, diz o especialista. “Não quer dizer que estará correta, mas é um truque que melhora muito a acurácia, a precisão e as respostas desses modelos”, acrescenta.

A IA não ‘sabe’, mas pode te ajudar a saber

Ok, a IA não “sabe” de nada. Mas isso não anula a utilidade desta ferramenta na hora de te ajudar a esclarecer uma dúvida, render mais, produzir melhor. 

Na teoria, plataformas de IA “são calculadoras mais avançadas, mais aprimoradas”, diz Kenneth Corrêa, especialista em IA e professor da FGV, em entrevista ao Olhar Digital. Na prática, tem se observado LLMs, com trilhões de parâmetros, “capazes de gerar respostas ou completar prompts com capacidades que não estão na base de aprendizado que tiveram”.

São ferramentas que alucinam, mas são ferramentas que geram muitos resultados.

Kenneth Corrêa, especialista em IA e professor da FGV, em entrevista ao Olhar Digital.

O especialista continua: “Quando você os traz para classificar documentos, para identificar padrões ou para produzir textos, eles conseguem uma desenvoltura e uma entrega de resultado em níveis que muitas vezes superam a média dos humanos.”

Por isso, para Corrêa, não se deve reduzir a IA a uma calculadora avançada. “Quando a gente faz o reducionismo, deixa de considerar o que realmente importa, que é: qual é o impacto que isso está gerando?”

O Program Manager da Alura cita um desses impactados: descobertas alcançadas via modelos superpoderosos de IA. “No entanto, não necessariamente isso é conhecimento novo por si só”, frisa o especialista. “Talvez sejam integrações de conhecimentos pré-existentes organizados de um novo modo, que ninguém havia visto antes ou que exigiam ‘força bruta’ para serem encontrados.”

O professor da FGV faz outra ressalva: “Essas ferramentas não têm moral, não têm ética. Elas falam com confiança a resposta certa, mas têm exatamente a mesma confiança para dar a resposta errada.”

Daí a importância da supervisão humana. “No fim do dia, a gente precisa do ser humano para validar as respostas e direcionar a IA”, diz o professor da FGV. “É ele que decide o que vai utilizar ou não daquilo”, acrescenta. Por quê? Porque só os humanos sabem.

O post Você confia na IA? Por que o ChatGPT não ‘sabe’ nada, mas pode te ajudar apareceu primeiro em Olhar Digital.